09 Checkpoint: Backpropagation и autograd

Содержание и основные понятия

Прогресс доступен при включённом JavaScript. Просмотр не равен освоению.
Восемь проверок механизма
Порог: 7 из 8. Без таймера. Баллы начисляются за ответы, не за посещение. Это локальная самопроверка; решения будут показаны после отправки.
1. Родители узла задают…
Зависимости операции
Порядок слов в ответе
Готовое значение gradient
2. Правильный forward доказывает правильность backward?
Да
Нет
Только для больших графов
3. Для c=a*b производная по a равна…
a
b
1
4. Начальная производная dL/dL равна…
0
1
Значению L
5. L=(xw+b)² при x2,w3,b1?
Ваш численный ответ
6. ∂L/∂w в том же примере?
Ваш численный ответ
7. ∂L/∂x в том же примере?
Ваш численный ответ
8. d(u+u)/dx при u=x²,x2?
Ваш численный ответ
Результат появится после отправки всех ответов.
Исследовать и объяснить
Соберите JSON DAG с общим узлом и repeated operands. Пройдите forward и reverse по шагам, объясните contributions до/после каждого узла. Проверьте один gradient центральной разностью и назовите ограничение ReLU в0.
Сначала сформулируйте гипотезу, затем измените один параметр. Сопоставьте числа с формулой; назовите крайний случай и границу применимости. Свободный вывод не оценивается фиктивным автоматическим баллом.