04.4 有多少不确定因素仍然存在

内容与核心概念

上一页的设置更好地解释了观测结果。
预测结果并不令人惊讶, 稀有的结果更令人吃惊, 并测量分布的平均意外。
三套带有分数的装备[0.5.0.0.25]。
Для изменения рисунка включитеJavaScript; расчёт и теория доступны далее.
为什么是对数?
对于独立事件,概率是乘以。如果要汇编信息,则是对数。 符号减去后使稀有事件更加出乎意料: I(i) =- ln pi。 期望是香农 enropy。 源代码M04 §3.13 和 M07; 香农的原始工作在此没有说明 。
H
(
p
)
=
−
∑
i
p
i
ln
⁡
p
i
.
H(p)=-\sum_i p_i\ln p_i.
H
(
p
)
=
−
i
∑
​
p
i
​
ln
p
i
​
.
默认自然对数单位
费用共计共计
日志2给定位数 : H_bits=H_nats/ln2, p=[5,25,25] 存款346574、3465 74、3436574;总和为1.039720771。折余为 1.5. 零质量根据 lim(t Int) = 0 at t ⁇ 0 +, 而不是试图计算 0~ (-) 正常乘法 。
k 最终结果 0 ⁇ H ⁇ ln k。 下边界是通过将质量集中在一个结果上, 将质量集中在一个结果上; 上边界集中分布均衡的上边界。 三个结果, 最大 IN3E1.098612。 技术上的上界也来自 KL( p)
实验。
更改 p , 留下 q 的 Q 。 ventropy p 应只依赖 p 。 然后更改蜗牛的部分: 分布的形式不会改变, 数字会缩放 。
很容易犯错
英特罗比不是“意义的数量 ” , 它不是信息的道德价值或分类的质量。 错误模型对 q 可能有低的通感性。 要对照正确的结果来评估它, 就必须将 q与目标分布 p 进行比较 。
from math import log
p = [.5,.25,.25]
entropy = -sum(v*log(v) for v in p if v>0)
assert abs(entropy-1.5*log(2))<1e-12
代码重复了刚刚处理的操作
完全检查了 Python 示例章节
可用一个单独的文件; 显示的短片不会取代其执行 。
对结果了解越少, 平均惊喜越多, 它是一种分布模式, 而不是对答案真相的评估。
如何罚款错误的信心, 这个问题又如何继续呢?
第04章Python实例
学术基础