09.4 从一个错误到所有加权数

内容与核心概念

前一页:一项行动的敏感性。
我们从错误对我们自己的影响开始: 它等于一个, 然后我们把敏感度传回。
我们要挽救行为,回到错误, 将不同路径的积存加到总重量上。这是一个自动的区别, 而不是一种猜测方向的新方法。
Для изменения рисунка включитеJavaScript; расчёт и теория доступны далее.
从一个产出到许多投入
我们从 dL/ dL=1 开始, 其余的梯度都关闭了 。 它正向后向到地形顺序 。 对于 scalar L 来说, 这是如何通过一个反向通道获得多个参数的衍生物 。
已处理节点
Incoming gradient
捐款捐款捐款
L=z*z
1
z:7+7=14
z=a+b
14
a:14,b:14
a=x*w
14
x:14×3=42,w:14×2=28
L=(xw+b) 2 的独立符号计算为\\L/\x=2(xW+b)(w)=42,\L /{{w=2[xw +b]x=28, 磅L/ \ ⁇ b=2( xw+B)=14。
实验。
在处理 a: rad(a) 已经准备就绪, grad(x) 尚未通过 a 收到捐款。 下一步将传达这种灵敏度。 “ 回扣” 按钮恢复快照, 而不是反向优化 。
边界。
反向模式不改变函数: 它不恢复输出输入。 衍生值也可以计算为不可逆的变化。 后退后, 参考 w=3, b=1 尚未更新。 学习需要同时使用选定参数的光度单设子日期 。
x,w,b=2,3,1
z=x*w+b
assert [2*z*w,2*z*x,2*z]==[42,28,14]
代码重复了刚刚处理的操作
完全检查了 Python 示例章节
可用一个单独的文件; 显示的短片不会取代其执行 。
由其本身输出的识别功能有一个衍生物1。
一次重量被多次使用。 这个问题如何继续?
第09章的皮顿实例
学术基础