15.1 Один токен проходит один блок

Содержание и основные понятия

Внимание, нейронные слои и прямые ветви разобраны по отдельности.
Посмотрим на нормализацию, внимание, прямой путь и нейронные слои по одному. Большая схема будет нужна после понимания каждого перехода.
Вектор получает позиционную информацию, обменивается сведениями и отдельно перерабатывает своё состояние. Остаточные суммы сохраняют прежний путь. Последняя таблица выдаёт оценки словаря.
Один блок из уже знакомых операций
Общая модель требуетJavaScript; её вычисления, формулы и код разобраны в открытом тексте далее.
Соединяем уже изученные операции
Учебный decoder использует pre-norm: сначала нормируется вход подслоя, затем вычисляется преобразование и добавляется residual. Для X[n,d]:
N
1
=
LN
⁡
(
X
)
,
R
=
X
+
MHA
⁡
(
N
1
)
,
H
=
R
+
FFN
⁡
(
LN
⁡
(
R
)
)
.
N_1=\operatorname{LN}(X),\quad R=X+\operatorname{MHA}(N_1),\quad
H=R+\operatorname{FFN}(\operatorname{LN}(R)).
N
1
​
=
LN
(
X
)
,
R
=
X
+
MHA
(
N
1
​
)
,
H
=
R
+
FFN
(
LN
(
R
))
.
LN считает mean и population variance
отдельно для каждой строки
, использует eps=1e−5 и affine γ,β. Causal attention не позволяет позиции читать будущее. FFN применяется к каждой позиции с общими weights. Формы residual слагаемых совпадают.
L06 описывает original post-norm encoder-decoder: LayerNorm стоит после residual, а decoder имеет cross-attention к encoder. Здесь другая, явно заданная pre-norm decoder-only архитектура. Она включает настоящие вычисления всех компонентов, но не является точной копией GPT-2 или другой конкретной модели.
Ручной sublayer fixture.
Для строки[1,−1], γ=[1,1],β=[0,0] нормированный вектор[1,−1]/√(1+eps). С одним доступным key коэффициент attention1. Если проекции identity, residual равен[1+s,−1−s],s=1/√(1+eps). Никакая операция не требует «угадать смысл» строки.
Эксперимент.
Пройдите block по стадиям и сопоставьте N1,Q/K/V,A,R,N2,F,H. Параметры и активации раздельны в inspector. Веса seeded,
не обучены языку
. Обученный tokenizer не превращает случайные веса в LLM, способную осмысленно отвечать.
from math import sqrt
s=1/sqrt(1+1e-5)
R=[1+s,-1-s]
assert abs(R[0]+R[1])<1e-12
Код повторяет только что разобранные операции.
Полный проверяемыйPython-пример главы
доступен отдельным файлом; показанный короткий фрагмент не заменяет его реализацию.
Residual добавляет результат подслоя к его ненормированному входу.
Почему порядок слов имеет значение. Как этот вопрос продолжает полученный результат?
Python-примеры главы 15
Академическая база →