04.1 Шансы нескольких исходов

Содержание и основные понятия

Оценка варианта и правильный ответ уже определены.
Зададим положительные доли и проверим, что вместе они дают единицу. Вероятности описывают не один ответ, а все возможные исходы.
Три положительные массы: 2,1,1.
Для изменения рисунка включитеJavaScript; расчёт и теория доступны далее.
Вся масса должна быть учтена
Модель следующего токена возвращает распределение по словарю. Для конечного набора взаимоисключающих исходов pᵢ≥0 и сумма pᵢ=1. Вероятность объединения нескольких исходов есть сумма соответствующих масс. PMF не просто произвольный вектор: отрицательные координаты и сумма2 недопустимы. M04 §3.3.
В лаборатории вводятся неотрицательные
веса
aᵢ, затем выполняется нормирование:
p
i
=
a
i
∑
j
a
j
,
∑
j
a
j
>
0.
p_i=\frac{a_i}{\sum_j a_j},\qquad \sum_j a_j>0.
p
i
​
=
∑
j
​
a
j
​
a
i
​
​
,
j
∑
​
a
j
​
>
0.
Веса[2,1,1] дают p=[.5,.25,.25]. Умножение всех весов на10 сохраняет распределение. Ввод[0,0,0] не задаёт распределение и должен остановить расчёт, а не подставить равномерный ответ незаметно.
Пусть числовые исходы X равны0,1,2. Ожидание E[X]=Σpᵢxᵢ=.75. Второй момент E[X²]=1.25, дисперсия E[X²]−E[X]²=.6875. Ожидание не обязано быть возможным исходом. Для категорий вроде «кошка/дом» усреднять номера ID как физические величины бессмысленно.
Граница.
Плотность непрерывной случайной величины не PMF. Равномерная плотность на[0,.5] равна2, но интеграл равен1. Вероятность отдельной точки при такой плотности0, хотя событие точки не является логически невозможным. В этой лаборатории только дискретные исходы.
Эксперимент.
Сконцентрируйте всю массу в одной категории, затем распределите поровну. До переключения предскажите, какое распределение даст большую среднюю неожиданность. Это подготовка к энтропии, не оценка истинности ответа нейросети.
p, values = [.5,.25,.25], [0,1,2]
mean = sum(a*b for a,b in zip(p,values))
variance = sum(a*(b-mean)**2 for a,b in zip(p,values))
assert mean == .75 and variance == .6875
Код повторяет только что разобранные операции.
Полный проверяемыйPython-пример главы
доступен отдельным файлом; показанный короткий фрагмент не заменяет его реализацию.
Теперь числа — сопоставимые доли. Пока ни один исход не выбран.
Новое свидетельство меняет оценку. Как этот вопрос продолжает полученный результат?
Python-примеры главы 04
Академическая база →