05.4 考虑到以往更正

内容与核心概念

在上一页,更正涉及哪些例子。
变化的历史不仅有助于应对后一例子,而且有助于区分方向和规模的积累。
新梯度4; 到目前为止累积的历史 ; 历史 0. 9 的份额 。
Для изменения рисунка включитеJavaScript; расчёт и теория доступны далее.
编码的平整和缩放
Momentum 存储梯度历史。 我们在此使用 EMA- option mk ⁇ mk-1+( 1- β) gk, 额外日期
g1 = [4.6] 第一个EMA等于[4.6], 步骤的阶梯等于 [1.96.94] 中的[2.1]。历史在阶梯之间累积, 却会重新淡化它。 动力可以平滑变量元素, 并强化稳定方向; 还可以飞行最小值 。
RMSProp 存储于 vk ⁇ vk-1+(1- β) gk2 的第二时刻, 然后每个比例尺的坐标 :
θ
k
+
1
,
j
=
θ
k
,
j
−
η
g
k
,
j
v
k
,
j
+
ϵ
.
\theta_{k+1,j}=\theta_{k,j}-\eta\frac{g_{k,j}}{\sqrt{v_{k,j}}+\epsilon}.
θ
k
+
1
,
j
​
=
θ
k
,
j
​
−
η
v
k
,
j
​
​
+
ϵ
g
k
,
j
​
​
.
我们版本的 {% 9, ⁇ 1e-8, 没有偏差控制。 g1 = [4.6] 接收 v1= [1.6.3.6], 这两个步骤几乎相同 :\/ G.1316228。 New \ =[1.68772, 683772] 这是对比额表的调整, 而不是对全反向赫塞恩的计算。 M06 解释了与亚当的关联; 具体协议在此明确宣布 。
实验。
在扩展方形上, 比较 GD、 Momentum、 RMSProp 在一个 。 移动斜体, 不仅查看路径, 也查看状态 m/ v 。 如果重置后状态没有下降, 则比较不正确 。
边界。
五是平均值
平方
分散需要减去平均值的正方形。 在分母中添加 epsilon 防止分解 0 , 但不能解决所有错误的步骤或尺度问题 。
这是对方向的记忆, 不是新的重力本身, 它涉及到下一个修正规则。
这个问题如何继续?
第05章Python实例
学术基础