Alterna · учебный материал
15 Checkpoint: Transformer и GPT
Проверьте понятия, ручные расчёты и причинные связи. Для прохождения самопроверки нужно не менее7из8.
Что в этом материале
- Восемь проверок механизма
- Исследовать и объяснить
Содержание и основные понятия
Прогресс доступен при включённом JavaScript. Просмотр не равен освоению.
Восемь проверок механизма
Порог: 7 из 8. Без таймера. Баллы начисляются за ответы, не за посещение. Это локальная самопроверка; решения будут показаны после отправки.
1. В нашей pre-norm архитектуре LN стоит…
Перед attention и FFN
Только после всего vocabulary
В tokenizer
2. Немаскированное self-attention без positions…
Перестановочно эквивариантно
Сохраняет всю output matrix при любой перестановке
Обязательно causal
3. RoPE для Q/K…
Вращает пары координат, сохраняя норму
Добавляет vocabulary rows
Всегда уменьшает каждый score с расстоянием
4. SwiGLU в этом decoder содержит…
Три матрицы безbias
Одну attention matrix
Всегда меньше параметров при том же d_ff
5. ReLU FFN: d4,d_ff8,сbias — сколько parameters?
Ваш численный ответ
6. SwiGLU d4,d_ff8,безbias — сколько parameters?
Ваш численный ответ
7. Всего ReLU decoder:V256,d4,L1?
Ваш численный ответ
8. Ширина logits при vocabulary260?
Ваш численный ответ
Результат появится после отправки всех ответов.
Исследовать и объяснить
Сверьте counts с фактическими arrays и сравните prefixes на уровне фиксированных token IDs. Проверьте норму RoPE и общий position shift. Объясните, почему правильный decoder forward со случайными weights не является обученной языковой моделью.
Сначала сформулируйте гипотезу, затем измените один параметр. Сопоставьте числа с формулой; назовите крайний случай и границу применимости. Свободный вывод не оценивается фиктивным автоматическим баллом.