07.2 Граница между решениями

Содержание и основные понятия

На предыдущей странице: один нейрон по шагам.
Поменяем веса и посмотрим, как сдвигается разделяющая линия. Нулевые веса могут убрать обычную границу целиком.
Он собирает вклады входов, добавляет смещение и применяет нелинейное правило. Все части этого расчёта уже доступны школьной арифметике.
Для изменения рисунка включитеJavaScript; расчёт и теория доступны далее.
Вес задаёт нормаль к границе
При классификации по знаку z граница определяется равенством wᵀx+b=0. Если w≠0, это гиперплоскость. Для двух её точек разность v удовлетворяет wᵀv=0: вектор w перпендикулярен всем направлениям внутри границы.
При w=[1,−1], b=.5 на плоскости получаем x₂=x₁+.5. Точка [1,2] лежит на отрицательной стороне, поскольку z=−.5. Число z не равно геометрическому расстоянию без нормирования:
d
(
x
,
H
)
=
∣
w
T
x
+
b
∣
∥
w
∥
2
,
w
≠
0.
d(x,\mathcal H)=\frac{|w^Tx+b|}{\|w\|_2},\qquad w\ne0.
d
(
x
,
H
)
=
∥
w
∥
2
​
∣
w
T
x
+
b
∣
​
,
w

=
0.
Для выбранной точки расстояние .5/√2. Умножение w и b на одно положительное число сохраняет границу и пороговые классы, но масштабирует score. Поэтому sigmoid-вероятности при той же геометрической границе могут стать более выраженными.
Эксперимент.
Поставьте w₂=0: граница вертикальна. Затем обнулите оба веса. Score станет постоянным: при b≠0 один класс будет выбран всюду; при b=0 все точки окажутся на пороге. Рисовать одну обычную разделяющую прямую в последнем случае нельзя.
Debug.
Формула x₂=−(w₁x₁+b)/w₂ требует обработки нулевого знаменателя. Лаборатория строит границу через пересечения с рамкой и отдельно объясняет вырожденный случай. Нельзя считать, что точка «увереннее классифицирована» только потому, что на автоматически масштабированном рисунке она дальше от линии.
При b≠0 границы z=0 нет; при b=0 всё пространство на пороге.
Гладкая функция и насыщение. Как этот вопрос продолжает полученный результат?
Python-примеры главы 07
Академическая база →