08 Checkpoint: Нейронные сети

Содержание и основные понятия

Прогресс доступен при включённом JavaScript. Просмотр не равен освоению.
Восемь проверок механизма
Порог: 7 из 8. Без таймера. Баллы начисляются за ответы, не за посещение. Это локальная самопроверка; решения будут показаны после отправки.
1. В batch weights…
Создаются отдельно на каждую строку
Общие для всех примеров
Равны target labels
2. Увеличение hidden width…
Меняет actual matrices и parameter count
Только добавляет картинки
Гарантирует улучшение на test
3. Gradient по W имеет shape…
Как W
Всегда скаляр
Всегда [batch,batch]
4. Одинаковые скрытые units при симметричных условиях…
Обязательно сами станут разными
Могут получать одинаковые updates
Никогда не влияют на output
5. Параметров в affine слое2→3?
Ваш численный ответ
6. Параметров в сети2→3→2→1?
Ваш численный ответ
7. Mean вектора[1,2,3]?
Ваш численный ответ
8. Вторая координата x+.5ReLU(x) для x=[−1,2]?
Ваш численный ответ
Результат появится после отправки всех ответов.
Исследовать и объяснить
Сравните width/depth и init scale при фиксированном бюджете. Затем выключите residual в отдельном опыте. Не называйте fit четырёх XOR-точек проверкой generalization; укажите, где реально обновились weights.
Сначала сформулируйте гипотезу, затем измените один параметр. Сопоставьте числа с формулой; назовите крайний случай и границу применимости. Свободный вывод не оценивается фиктивным автоматическим баллом.