Alterna · учебный материал
17 Checkpoint: Inference и quantization
Проверьте понятия, ручные расчёты и причинные связи. Для прохождения самопроверки нужно не менее7из8.
Что в этом материале
- Восемь проверок механизма
- Исследовать и объяснить
Содержание и основные понятия
Прогресс доступен при включённом JavaScript. Просмотр не равен освоению.
Восемь проверок механизма
Порог: 7 из 8. Без таймера. Баллы начисляются за ответы, не за посещение. Это локальная самопроверка; решения будут показаны после отправки.
1. Prefill обрабатывает…
Весь prompt causal forward
Только последний token
Optimizer state
2. KV-cache хранит…
Прошлые K/V activations
Новые weights
Тексты training corpus
3. Изменение seed при тех же logits и policy…
Меняет logits
Меняет draw, но не исходное распределение
Обучает head
4. Batching прежде всего меняет…
План обслуживания requests
Vocabulary order
Значения trained weights
5. KV bytes: L2,B1,S4,H2,d4,FP16?
Ваш численный ответ
6. INT4 symmetric qmax?
Ваш численный ответ
7. Top-k при k=3 оставляет максимум candidates?
Ваш численный ответ
8. Два requests по3 decode tokens — useful token steps?
Ваш численный ответ
Результат появится после отправки всех ответов.
Исследовать и объяснить
Сначала докажите совпадение cached decode и полного causal recompute на одном checkpoint. Затем отдельно включайте sampling filters и quantization, удерживая seed и prompt фиксированными. Не выдавайте browser arithmetic за hardware benchmark.
Сначала сформулируйте гипотезу, затем измените один параметр. Сопоставьте числа с формулой; назовите крайний случай и границу применимости. Свободный вывод не оценивается фиктивным автоматическим баллом.