08.4 教育开始的地方

内容与核心概念

在上一页,储存的是什么和计算什么。
在第一次校正之前,也需要重量值。同样的神经元可以得到相同的校正,因此初始差异很重要。
一层为下一层创建中间符号。 非线性不允许将整个序列折叠到一个表格中。 直接分支会将更正添加到上一个状态 。
Для изменения рисунка включитеJavaScript; расчёт и теория доступны далее.
为什么隐藏的神经元不同?
在同一尺度内, 隐藏单位可以接收相同的入口和梯度, 然后同样更新。 网络不需要使用宽度作为独立的特性 。 零初始化显示此对称 。
密切独立和集中管理:
Var
⁡
(
∑
i
w
i
x
i
)
≈
f
a
n
_
i
n
Var
⁡
(
w
)
Var
⁡
(
x
)
.
\operatorname{Var}\left(\sum_iw_ix_i\right)\approx
\mathrm{fan\_in}\,\operatorname{Var}(w)\operatorname{Var}(x).
Var
(
i
∑
​
w
i
​
x
i
​
)
≈
fan_in
Var
(
w
)
Var
(
x
)
.
这刺激了顺序1/Gfan_in的大小。 非线性和依赖性使情况复杂化;公式不是任何网络的确切法律。
在 Webs 实验室里,它甚至位于 [比例/Gfan_in, 比例/ Gfan__in], 偏向0。
Xavier 或He 尚未充分执行
0.5比例影响实际效果;中值和RMS 平面活动在向前进行测量。
实验。
比较比例尺 0 1.1.5。 当 比例尺0 没有收到有用的信号时, 尽管输出偏差可以学习中位目标 。 如果大 scalé tanh 满意, 且 ReLU 可以给出高值或非活动分支 。 减少损失并不能证明所有隐藏的单位已经独立 。
重置恢复了经验、 初始化和历史的参数。 这是可测试的可复制性, 而不是任何库和 GPU 的同一轨迹的承诺 。
意外初始化会破坏对称性。
一个矢量的平均值和规模。 这个问题如何继续 ?
第08章Python实例
学术基础