Alterna · учебный материал
05 Checkpoint: Оптимизация и численные методы
Проверьте понятия, ручные расчёты и причинные связи. Для прохождения самопроверки нужно не менее7из8.
Что в этом материале
- Восемь проверок механизма
- Исследовать и объяснить
Содержание и основные понятия
Прогресс доступен при включённом JavaScript. Просмотр не равен освоению.
Восемь проверок механизма
Порог: 7 из 8. Без таймера. Баллы начисляются за ответы, не за посещение. Это локальная самопроверка; решения будут показаны после отправки.
1. Координаты точки loss landscape здесь означают…
Настройки параметров модели
Номера токенов
Цветовые каналы картинки
2. Большой learning rate может…
Только ускорить
Увеличить loss и вызвать расходимость
Сделать gradient точно правильным
3. Средний gradient minibatch…
Всегда равен полному
Может отличаться от полного
Является случайным числом без данных
4. Второй момент gradient равен дисперсии?
Да всегда
Нет, для дисперсии нужен ещё квадрат среднего
Только наGPU
5. Первый EMA momentum m приg=4,β=.9,m₀=0?
Ваш численный ответ
6. Полный gradient дляθ0,targets[-1,1,3,5]?
Ваш численный ответ
7. Первая координата norm-clipped[3,4] приc=2?
Ваш численный ответ
8. Обновлённыйθпри decay:θ2,η.1,λ.5?
Ваш численный ответ
Результат появится после отправки всех ответов.
Исследовать и объяснить
Сравните методы при одном бюджете, затем измените conditioning. Не делайте вывод о качестве LLM из одного графика. Покажите на state первого шага Adam, где исчезает начальное смещение; отдельно объясните, почему clipping и decay не одно действие.
Сначала сформулируйте гипотезу, затем измените один параметр. Сопоставьте числа с формулой; назовите крайний случай и границу применимости. Свободный вывод не оценивается фиктивным автоматическим баллом.