09.3 一项行动的敏感性

内容与核心概念

前一页:首先我们得到数值。
我们只需要一个乘法或加法 整个长链需要它们的当地规则
我们要挽救行为,回到错误, 将不同路径的积存加到总重量上。这是一个自动的区别, 而不是一种猜测方向的新方法。
Для изменения рисунка включитеJavaScript; расчёт и теория доступны далее.
小规则 而不是一个巨大的公式
对于 c=a+b , 两种操作的本地衍生物相等。 对于 c = a , 它们等于 b 和 a。 对于c 等于 tanh(a) 衍生物等于 1 - c2. 对于 ReLU, aa> 0.0 aa < 0; t0 被选为协议,而不是经典衍生物。
在L=z*z的两个入口中,每个入口都有本地衍生值z=7。这是两根肋骨对一个节点;合并效果14。如果将织物固定起来并只转移一次存款,梯度将小一半。
a
ˉ
+
=
c
ˉ
∂
c
∂
a
,
b
ˉ
+
=
c
ˉ
∂
c
∂
b
.
\bar a\mathrel{+}=\bar c\frac{\partial c}{\partial a},\qquad
\bar b\mathrel{+}=\bar c\frac{\partial c}{\partial b}.
a
ˉ
+
=
c
ˉ
∂
a
∂
c
​
,
b
ˉ
+
=
c
ˉ
∂
b
∂
c
​
.
直线代表通过节点而不是其前方值的衍生输出 L 。 接收梯度缩放本地衍生物, 然后组件会添加已经累积的结果 。
实验。
选择一个阶梯模, 比较操作、 本地衍生物、 流入的梯度和贡献。 添加本地衍生1 并不意味着其父的光度是强制性的 1: 整个链条在此节点后被考虑 。
很容易犯错
方便用户的视觉化软件无法为所有类型的操作设置相同的衍生工具 。 任何新原始都需要本地规则和数字差异检查 。
z=7
grad_z=0
grad_z+=1*z
grad_z+=1*z
assert grad_z==14
代码重复了刚刚处理的操作
完全检查了 Python 示例章节
可用一个单独的文件; 显示的短片不会取代其执行 。
第二个乘数产生当地敏感性。
从一个错误到所有加权,这个问题如何继续产生结果?
第09章的皮顿实例
学术基础