Alterna · учебный материал
14 Checkpoint: Attention
Проверьте понятия, ручные расчёты и причинные связи. Для прохождения самопроверки нужно не менее7из8.
Что в этом материале
- Восемь проверок механизма
- Исследовать и объяснить
Содержание и основные понятия
Прогресс доступен при включённом JavaScript. Просмотр не равен освоению.
Восемь проверок механизма
Порог: 7 из 8. Без таймера. Баллы начисляются за ответы, не за посещение. Это локальная самопроверка; решения будут показаны после отправки.
1. Output до W_O — это…
Взвешенная сумма values
Обязательно один выбранный token
Новые обученные параметры
2. Изменение только W_V при фиксированных X,W_Q,W_K…
Меняет scores обязательно
Меняет values, не coefficients attention
Обучает tokenizer
3. Scale√d_k мотивируется…
Предпосылками о variance компонент Q/K
Тем, что любая матрица имеет variance1
Правилом перевода bytes вtokens
4. Для запрета будущей позиции перед softmax ставят…
Score0
Score−∞
Самый большой score
5. Сколько coefficients в одной A приn=3?
Ваш численный ответ
6. Сколько разрешённых связей causal mask приn=3?
Ваш численный ответ
7. d_head приd_model4,heads2?
Ваш численный ответ
8. Первая координата .25[1,0]+.75[0,1]?
Ваш численный ответ
Результат появится после отправки всех ответов.
Исследовать и объяснить
Измените последнюю строку X при causal mask и сравните ранние outputs. Отключите mask и повторите. Затем отдельно поменяйте W_V: найдите неизменные коэффициенты и изменившуюся смесь.
Сначала сформулируйте гипотезу, затем измените один параметр. Сопоставьте числа с формулой; назовите крайний случай и границу применимости. Свободный вывод не оценивается фиктивным автоматическим баллом.