Alterna · учебный материал
19 Checkpoint: Большие и мультимодальные системы
Проверьте понятия, ручные расчёты и причинные связи. Для прохождения самопроверки нужно не менее7из8.
Что в этом материале
- Восемь проверок механизма
- Исследовать и объяснить
Содержание и основные понятия
Прогресс доступен при включённом JavaScript. Просмотр не равен освоению.
Восемь проверок механизма
Порог: 7 из 8. Без таймера. Баллы начисляются за ответы, не за посещение. Это локальная самопроверка; решения будут показаны после отправки.
1. Увеличение parameter count…
Не гарантирует качество
Автоматически гарантирует безопасность
Удаляет communication
2. При разных token counts worker means агрегируют…
С весами по числу active tokens
Всегда поровну
По номеру GPU
3. Column shards matmul объединяются…
Concat по output width
Средним всех значений
Удалением половины rows
4. Pipeline bubble возникает из-за…
Заполнения/освобождения stages и imbalance
Tokenizer tie-break
Softmax normalization
5. Worker means1 и5 при weights1 и3: global mean?
Ваш численный ответ
6. Pipeline P3,M4 ideal forward ticks?
Ваш численный ответ
7. MoE assignments T4,k2?
Ваш численный ответ
8. Image32×16,patch16: image tokens?
Ваш численный ответ
Результат появится после отправки всех ответов.
Исследовать и объяснить
Сохраняйте общую математическую работу и меняйте только partition. Сверьте dense и sharded result, затем посчитайте communication payload. Для pipeline и MoE разделите logical simulator ticks, overflow policy и реальные hardware claims.
Сначала сформулируйте гипотезу, затем измените один параметр. Сопоставьте числа с формулой; назовите крайний случай и границу применимости. Свободный вывод не оценивается фиктивным автоматическим баллом.