← 全部笔记

机器学习 · 梯度下降

机器学习公式算法
梯度下降

监督学习用参数 θ\theta 拟合数据。训练就是不断减小损失 L(θ)L(\theta)。

更新公式
θ←θ−η∇θL(θ)\theta \leftarrow \theta - \eta \nabla_\theta L(\theta)

其中 η\eta 是学习率，∇θL\nabla_\theta L 是损失对参数的梯度。

训练一步在做什么
  1. 取一个 batch 数据
  2. 前向算出预测 y^=fθ(x)\hat{y}=f_\theta(x)
  3. 算损失，例如 MSE：L=1n∑(y−y^)2L=\frac{1}{n}\sum(y-\hat{y})^2
  4. 反向传播得到梯度
  5. 按上式更新 θ\theta

流程图加载中…

在「科普创作」粘贴本页内容生成分镜，会得到 gradient / neural / train-loop 动画镜头，并带上对应公式。