Академическая база ML и нейронных сетей

Содержание и основные понятия

Получение источников и содержательное ревью: 2026-09-11. Источники N01–N10 получены через webfetch до реализации. Числа лабораторий — собственные fixtures; никакие результаты обучения из papers не объявляются воспроизведёнными.
Исследовательские вопросы
Глава
Вопросы
Опора
06
Как обучить affine regression? Чем logistic score отличается от класса? Как разделять train/validation/test? Когда precision не определена? Почему полином переобучается? Как меняются assignments/centroids K-means? Когда кластер пуст? Зачем центрировать PCA?
N01,N04; PCA также M01 §2.12 из математического блока
07
Что такое perceptron? Как веса задают нормаль? Чем sigmoid отличается от threshold? Где насыщаются sigmoid/tanh? Какая GELU используется? Почему SiLU может быть отрицательной? Почему композиция affine не решает XOR?
N02,N05,N08,N09
08
Как вычислять batch layer? Как ширина/глубина меняют actual shapes? Что входит в parameter count? Почему zero init создаёт симметрию? Какой масштаб выбирает seeded init? По каким осям считается norm? Когда residual shapes совместимы? Почему XOR training не проверяет generalization?
N02,N03,N06,N07
09
Чем graph node отличается от имени переменной? Как найти topological order? Какие local derivatives у add/mul/tanh? Как seed=1 относится к dL/dL? Почему повторные edges нельзя удалять? Что обнулять перед backward? Как проверить gradient? Почему backward не optimizer step?
N03,N10; собственный вывод chain rule
Реестр источников
N01. Deep Learning — Machine Learning Basics
Ian Goodfellow, Yoshua Bengio, Aaron Courville, MIT Press, 2016, chapter5.
https://www.deeplearningbook.org/contents/ml.html
Получен текст; ответ обрезан после видимой части §5.2. Использованы определения learning task/performance/experience, supervised/unsupervised, affine regression/MSE, polynomial capacity/generalization. Более поздние разделы книги этим получением не считаются прочитанными. U-shaped generalization curve не выдаётся за универсальный закон всех современных моделей; утверждение «больше данных никогда не ухудшает качество любого алгоритма» не переносится без предпосылок.
N02. Deep Learning — Deep Feedforward Networks
Те же авторы, 2016, chapter6.
https://www.deeplearningbook.org/contents/mlp.html
Видимая полученная часть содержит §6.1 с полным XOR ReLU-example, §6.2 logistic/softmax и устойчивую logit loss. Ответ обрезан позднее; раздел backprop этой книги не заявляется прочитанным. Пример XOR использует вручную заданные веса, что честно сохраняется в демонстраторе; отдельный training имеет собственный seed и не обязан получить целочисленные weights.
N03. Dive into Deep Learning — Forward/Backward Propagation
Aston Zhang, Zachary C. Lipton, Mu Li, Alexander J. Smola, CUP,2023, web1.0.3.
https://d2l.ai/_sources/chapter_multilayer-perceptrons/backprop.rst.txt
Получен полный видимый RST раздела: forward, reverse chain rule, матричные gradients, память activations и отличие gradient от update. D2L использует столбцовое соглашение; для batch MLP в нашем коде принято X[batch,in]W[in,out]. Поэтому dW=XᵀdZ, а не слепая копия транспонированной формулы источника.
N04. Stanford CS221 — K Means
Chris Piech, на основе handout Andrew Ng, страница курса Fall2012, footer2013.
https://stanford.edu/~cpiech/cs221/handouts/kmeans.html
Получен текст assignment/update и pseudocode.
Расхождения:
комментарий «geometric mean» не копируется: squared Euclidean objective минимизирует арифметическое среднее. Связь с EM требует hard-assignment/предельной интерпретации, не тождества произвольному soft EM. Пустой кластер у нас сохраняет прежний centroid с явной подписью; источник предлагает случайную переинициализацию. Это разные инженерные политики.
N05. Gaussian Error Linear Units
Dan Hendrycks, Kevin Gimpel,2016, arXiv:1606.08415, карточкаv5.
https://arxiv.org/abs/1606.08415
Abstract-only:
подтверждает определение xΦ(x). Наш runtime использует явно подписанную tanh-аппроксимацию N08, а не точную Gaussian CDF. Улучшения на benchmark из abstract не обещаются ученику.
N06. Layer Normalization
Jimmy Lei Ba, Jamie Ryan Kiros, Geoffrey Hinton,2016, arXiv:1607.06450.
https://arxiv.org/abs/1607.06450
Abstract-only:
статистика по скрытым компонентам одного примера, affine gain/bias, одинаковый LN-compute train/test. Это не то же, что BatchNorm. Формулы нормирования и их арифметика заданы явно; универсальный выигрыш скорости не обещается.
N07. Deep Residual Learning for Image Recognition
Kaiming He, Xiangyu Zhang, Shaoqing Ren, Jian Sun,2015, arXiv:1512.03385.
https://arxiv.org/abs/1512.03385
Abstract-only:
residual functions относительно layer input. Конкретная ResNet и ImageNet-результаты не воспроизводятся. Наш F(x)=gain·ReLU(x) — прозрачный маленький пример, не обученная ResNet.
N08 / N09. PyTorch GELU и SiLU
PyTorch contributors, официальная reference documentation; проверено2026-09-11.
https://docs.pytorch.org/docs/2.14/generated/torch.nn.GELU.html
https://docs.pytorch.org/docs/2.14/generated/torch.nn.SiLU.html
Сначала
/stable/
вернул redirect-страницы, затем указанные reference pages реально получены. Видимы xΦ(x), tanh-approximation c=√(2/π), coefficient.044715, SiLU=xσ(x), same-shape semantics. ВерсияURL записана как полученная, не как требуемая зависимость. PyTorch runtime в браузере не используется.
N10. Automatic Differentiation in Machine Learning: a Survey
Atilim Gunes Baydin, Barak A. Pearlmutter, Alexey Andreyevich Radul, Jeffrey Mark Siskind, JMLR18(153),2018; arXiv:1502.05767v4.
https://arxiv.org/abs/1502.05767
Abstract-only:
AD как семейство методов точного до floating-point вычисления derivatives программ, отличие от symbolic/numerical differentiation. Конкретный mini-autograd выводится из N03 и chain rule, не приписывается непрочитанному алгоритму paper.
Ограничения и проверка
Это целевой учебный обзор: два учебника (два chapter одного textbook не независимые авторы), Stanford handout, несколько primary abstracts и official API docs. Не заявляются восемь независимых papers на каждую главу или формальная экспертная рецензия. Normal equations допустимы только в маленьком учебном polynomial fit: в industrial regression предпочитают QR/SVD. В mini-autograd поддерживается ограниченный scalar DAG; нет arbitrary eval, higher-order differentiation, tensors или GPU.
Численные примеры проверяются независимым Python до сборки. После реализации обязательны finite differences для каждого параметра маленькой MLP, shared-node accumulation и duplicate-operand тесты, детерминизм training/reset и regressions00–05.