Alterna · учебный материал
16 Checkpoint: Как обучается LLM
Проверьте понятия, ручные расчёты и причинные связи. Для прохождения самопроверки нужно не менее7из8.
Что в этом материале
- Восемь проверок механизма
- Исследовать и объяснить
Содержание и основные понятия
Прогресс доступен при включённом JavaScript. Просмотр не равен освоению.
Восемь проверок механизма
Порог: 7 из 8. Без таймера. Баллы начисляются за ответы, не за посещение. Это локальная самопроверка; решения будут показаны после отправки.
1. Target позиции i в causal LM — это…
Тот же token t_i
Следующий token t_(i+1)
Случайный vocabulary ID
2. Masked prompt token в среднем CE…
Даёт нулевой вклад и gradient
Считается дважды
Удаляется из context
3. Validation pass должен…
Обновить Adam moments
Оставить weights и optimizer state неизменными
Смешаться с train split
4. При assistant-only SFT prompt tokens…
Не видны модели
Видны как context, но loss mask равен0
Всегда являются targets
5. Shifted pairs для5 tokens?
Ваш численный ответ
6. Perplexity при mean NLL ln4?
Ваш численный ответ
7. Global norm [3,4]?
Ваш численный ответ
8. LoRA trainable parameters при m=8,n=4,r=2?
Ваш численный ответ
Результат появится после отправки всех ответов.
Исследовать и объяснить
Сравните masked и unmasked objective, затем выполните один реальный optimizer step. Проверьте, какие arrays изменились, и отделите train loss от validation. Для LoRA сопоставьте rank и trainable parameter budget с full update.
Сначала сформулируйте гипотезу, затем измените один параметр. Сопоставьте числа с формулой; назовите крайний случай и границу применимости. Свободный вывод не оценивается фиктивным автоматическим баллом.