05.5. 两个梯度故事

内容与核心概念

在上一页,考虑过去的更正。
亚当的优化器存储了平滑梯度和方形。 它会影响下一次修正的长度, 并纠正最初的偏移 。
第一梯度四,两个故事开头都是零。
Для изменения рисунка включитеJavaScript; расчёт и теория доступны далее.
两个瞬间和两个分母
Adam 连接 EMA 方向和第二点。 当初始化为零时, 第一个估计值被抵消为零: 使用的EMA重量值小于 1 。 对于恒定 g , 重量和等于 1 - Qk , 这解释了偏差校正 。 M06; M09 抽象算法的起源 。
m
k
=
β
1
m
k
−
1
+
(
1
−
β
1
)
g
k
,
v
k
=
β
2
v
k
−
1
+
(
1
−
β
2
)
g
k
2
,
m_k=\beta_1m_{k-1}+(1-\beta_1)g_k,\quad
v_k=\beta_2v_{k-1}+(1-\beta_2)g_k^2,
m
k
​
=
β
1
​
m
k
−
1
​
+
(
1
−
β
1
​
)
g
k
​
,
v
k
​
=
β
2
​
v
k
−
1
​
+
(
1
−
β
2
​
)
g
k
2
​
,
m
^
k
=
m
k
1
−
β
1
k
,
v
^
k
=
v
k
1
−
β
2
k
,
θ
k
+
1
=
θ
k
−
η
m
^
k
v
^
k
+
ϵ
.
\hat m_k=\frac{m_k}{1-\beta_1^k},\quad
\hat v_k=\frac{v_k}{1-\beta_2^k},\quad
\theta_{k+1}=\theta_k-\eta\frac{\hat m_k}{\sqrt{\hat v_k}+\epsilon}.
m
^
k
​
=
1
−
β
1
k
​
m
k
​
​
,
v
^
k
​
=
1
−
β
2
k
​
v
k
​
​
,
θ
k
+
1
​
=
θ
k
​
−
η
v
^
k
​
​
+
ϵ
m
^
k
​
​
.
最后一部分的所有矢量操作都经过协调。在实验室中的 β1 = 9, β2= 999, ⁇ 1e-8; k 从第一个子日期的 1 开始。 g= [4.6]: m1 表示 [4,6], v1 显示 [0.16,036]; 收到校正后 。 C= 1 新的几乎 [1.9, 9.], 带有微细校正环。
Debug.
如果没有控制,第一步将缩放到1 G.001E.3.1623, 相对于正常g。
eta*mhat/sqrt(vhat) + eps
不等于
eta*mhat/(sqrt(vhat)+eps)
。括号、 Epsilon 的位置和阶梯号是重要的。
研究。
设置起始点 [ 0.0] 。对于零秒和梯度,所有算法都必须先不使用 NaN 。 然后返回正常开始, 比较1. 10. 0. 50 的 stags。 Adam 无法保证每 k 都有更好的结果, 并且对于任何光线序列来说, 算法并不普遍一致 。
g, beta1, beta2 = 4,.9,.999
m, v = (1-beta1)*g,(1-beta2)*g*g
mhat, vhat = m/(1-beta1),v/(1-beta2)
assert abs(mhat-4)<1e-12 and abs(vhat-16)<1e-12
代码重复了刚刚处理的操作
完全检查了 Python 示例章节
可用一个单独的文件; 显示的短片不会取代其执行 。
亚当有两种不同的故事, 不仅仅是昨天的梯度。 正确的修正取决于两者 。
我们限制步骤,改变时间表。
第05章Python实例
学术基础