07.3. 清洁功能和饱和

内容与核心概念

在上一页,裁决之间的界限。
函数可以压缩范围有限的出口的多个入口。 但是在边缘,输入的微小变化几乎不再影响响应 。
他收集投入,增加一个轮班,并应用非线性规则。这一计算的所有部分已经用学校算术提供。
Для изменения рисунка включитеJavaScript; расчёт и теория доступны далее.
顺畅并不排除饱和
Sigmoid 将 z 译为 (0.1), tanh 到 (-1.1).
σ
(
z
)
=
1
1
+
e
−
z
,
σ
′
(
z
)
=
σ
(
z
)
(
1
−
σ
(
z
)
)
,
tanh
⁡
′
(
z
)
=
1
−
tanh
⁡
2
(
z
)
.
\sigma(z)=\frac1{1+e^{-z}},\quad \sigma'(z)=\sigma(z)(1-\sigma(z)),\quad
\tanh'(z)=1-\tanh^2(z).
σ
(
z
)
=
1
+
e
−
z
1
​
,
σ
′
(
z
)
=
σ
(
z
)
(
1
−
σ
(
z
))
,
tanh
′
(
z
)
=
1
−
tanh
2
(
z
)
.
z=0时,Sigmoid值及其衍生物等于0.5和2.5;对于制革,为0和1。
实验。
比较在相同的 x,w,b. 下的激活。 通过重量增加 z 模块 : 形状不会改变, 但感官可以大幅降低 。 该图将函数值及其衍生物分开显示 。
对于 z>0 使用 1/(1+exp(z)) 和 z < 0 表示 exp (z) /(1) + Exp(Z) 。 这不需要高正数表示。 如果高饱和度, 浮点仍然可以圆p 0 或 1 ; 因此, BCE 更好地通过登录计算 。
边界。
Sigmoid 是一种隐藏的激活和出口上的 Sygmoid+BCE 捆绑, 与常见错误相比, 具有不同的衍生物。 当然错误的日志不必获得几乎为零的梯度合并损失。 Tanh 值不是概率分布 。
from math import exp,tanh
s=1/(1+exp(0))
assert s==.5 and s*(1-s)==.25
assert tanh(0)==0 and 1-tanh(0)**2==1
代码重复了刚刚处理的操作
完全检查了 Python 示例章节
可用一个单独的文件; 显示的短片不会取代其执行 。
这不是完全衍生出来的任何损失。
非线性变换规则。 这个问题如何继续存在?
Python第07章的例子
学术基础