04.5 如何纠正错误信心

内容与核心概念

在上一页上,还有多少不确定因素。
如果模型给出了正确的结果, 很小的百分比, 罚款应该更大, 我们将采取平均罚款 我们不同于我们自己的不确定性。
该模型为四名候选人每人提供了四分之一的概率。
Для изменения рисунка включитеJavaScript; расчёт и теория доступны далее.
在错误模式下感到惊讶
让真实/目标分布p, 和模型 q 预测
相同
平均罚款按频率p,而不是 q 等量加权:
H
(
p
,
q
)
=
−
∑
i
p
i
ln
⁡
q
i
,
D
K
L
(
p
∥
q
)
=
∑
i
p
i
ln
⁡
p
i
q
i
=
H
(
p
,
q
)
−
H
(
p
)
.
H(p,q)=-\sum_i p_i\ln q_i,\qquad
D_{KL}(p\Vert q)=\sum_i p_i\ln\frac{p_i}{q_i}=H(p,q)-H(p).
H
(
p
,
q
)
=
−
i
∑
​
p
i
​
ln
q
i
​
,
D
K
L
​
(
p
∥
q
)
=
i
∑
​
p
i
​
ln
q
i
​
p
i
​
​
=
H
(
p
,
q
)
−
H
(
p
)
.
对于固定 p, 最小 CE 等于 最小 KL。 对于 普通离散分布 KL+0, p=q 的方程式。 非负值来自 In t ⁇ t-1; 不能用错误的结果模块“ 保存 ” 。
对于p=[5.25.25],q=[25.5.25]:H(p)=1.097207771,EC=1.2307566,KL=1732686795=002/4。如果q=p, CE不要求为0:它等于 entropy 目标。对于一热目标类别j entopria0和 CE=-ln qj, 它相当于 entropia0和CE= -ln Qj。
边界。
如果 pi > 0,qi=0, CE 和 KL 是无穷无尽的: 模型已经禁用了可能的目标结果 。 这是一个有意义的数学结果, 不是 NaN 。 如果 Pi= 0, 输入0, 不管q 是什么 。
研究。
在恒定p, 逐渐将一个常见类别中的 q 降为 0。 罚款将无限增长。 然后将 p 和 q 在位置上更改 : KL 不完全对称, 也不是距离的度量。 特别是对于 [ 1.0 和 [ 5. 5 , 一个方向是 In2, 反向是无限的 。
from math import log
p,q = [.5,.25,.25],[.25,.5,.25]
ce = -sum(a*log(b) for a,b in zip(p,q) if a>0)
kl = sum(a*log(a/b) for a,b in zip(p,q) if a>0)
assert abs(ce-kl-1.5*log(2))<1e-12
代码重复了刚刚处理的操作
完全检查了 Python 示例章节
可用一个单独的文件; 显示的短片不会取代其执行 。
首先测量正确答案的错误。 显示器将平均错误转换为另一个比例尺; 文本的质量没有用尽 。
选项数大小出错。 这个问题如何继续结果 ?
第04章Python实例
学术基础