梯度下降
梯度下降

梯度下降

假设一个函数为:

Untitled.png

其图像及等高线如下(等高线中心的蓝点表示最小值):

Untitled.png

如果用梯度下降去寻找最小值,梯度下降迭代n次。

X0 → X1 → X2 → ……… → Xn

梯度下降一次,从X0梯度下降求解X1.

假设当前的起始点为 X0 = (-3.5,-3.5),那么当前函数的梯度为:

Untitled.png

Untitled.png

Untitled.png

假设我们每次迭代的步长为 0.1 ,由 X0 求出 X1 ,可以得到 X1 = (-2.8,-2.1) 。

Untitled.png

可以看到向最小值方向前进了一步:

Untitled.png

持续迭代n次

继续梯度下降,由 X1 求得 X2:

Untitled.png

此时又会向最低点靠近,

Untitled.png

迭代20次之后

v2-3d870db979e5a2a07434448bc5100737_720w.webp

核心公式为:

QianJianTec1704183240465.png

eta为步进值(学习率)

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注