Академическая база

Содержание и основные понятия

Ниже указаны реально полученные материалы и пределы их использования. Статусы retrieval отражают исследовательский этап 8 сентября 2026 года. Самостоятельные численные примеры затем проверены Python oracle и тестами JavaScript; это не воспроизведение обучения больших моделей.
S01. Deep Learning: Introduction
Citation: Ian Goodfellow, Yoshua Bengio, Aaron Courville.
Deep Learning
. MIT Press, 2016, chapter 1, особенно pp. 1-10 и 13-16.
Type: университетский учебник; secondary; ISBN 9780262035613.
Stable URL:
https://www.deeplearningbook.org/contents/intro.html
Retrieval: первый
webfetch
вернул transport error; повторный с
format=text
получил текст главы. Ответ инструмента обрезан в поздней части; используемые вводные разделы и фигуры 1.4, 1.5 присутствуют в видимой части. Не заявляется чтение всей книги или проверка изображений по оригиналу.
Used for: C01-C03; вложенность DL/ML/AI, representation learning, MLP как композиция функций, отличие от биологически реалистичной модели мозга.
Evidence locator: introductory discussion; описание figure 1.4; §1.2.1, замечание о том, что DL не следует понимать как попытку симулировать мозг.
Caveats: исторические оценки «today», объёмов данных и возможностей относятся к 2016 году; не использовать как состояние техники 2026 года. Единого порога числа слоёв для «deep» авторы не задают.
S02. D2L: Linear Regression
Citation: Aston Zhang, Zachary C. Lipton, Mu Li, Alexander J. Smola.
Dive into Deep Learning
. Cambridge University Press, 2023; web edition 1.0.3, §3.1.
Type: академический учебник; secondary.
Stable URL:
https://d2l.ai/chapter_linear-regression/linear-regression.html
Retrieval: HTML-текст раздела получен; вывод инструмента обрезан после части раздела. Видимы определения training set/features/target, §3.1.1.1-3.1.1.3, формулы 3.1.1-3.1.9. Ноутбуки не запускались.
Used for: C03-C05;
y_hat=w^T x+b
, полуквадратичный loss, среднее по dataset. Наш одношаговый пример является собственной специализацией, не цитатой готового результата.
Caveats: «linear regression» содержит bias и потому аффинна по входу; минимизация train loss сама по себе не доказывает обобщение. Числа лаборатории проверяются отдельным oracle проекта.
S03. D2L: Language Models
Citation: Zhang, Lipton, Li, Smola.
Dive into Deep Learning
, 2023, web edition 1.0.3, §9.3.
Type: академический учебный раздел; secondary; та же книга, что
S02
, не независимый авторский источник.
Stable URL:
https://d2l.ai/chapter_recurrent-neural-networks/language-model.html
Retrieval: содержательный HTML-текст получен, вывод обрезан позднее; видимы §9.3.1, формулы 9.3.1-9.3.8.
Used for: C06, C07; цепное разложение вероятности последовательности, условное распределение следующего токена, отрицательное log-likelihood.
Caveats: обсуждение n-грамм не является архитектурой современной LLM; слова о текущих возможностях диалога историчны. Perplexity не используется как мера истинности ответа.
S04. D2L: Attention Scoring Functions
Citation: Zhang, Lipton, Li, Smola.
Dive into Deep Learning
, 2023, web edition 1.0.3, §11.3.
Type: академический учебный раздел; secondary; та же книга.
Stable URL:
https://d2l.ai/chapter_attention-mechanisms-and-transformers/attention-scoring-functions.html
Retrieval: получены текст, формулы 11.3.2-11.3.3, объяснение masked softmax и фрагменты кода; поздняя часть вывода обрезана. Код не запускался.
Used for: C08; scaled dot product, нормировка по keys, masked positions. Формулу сопоставляем с независимым первичным
S07
, но это не аудит нашего расчёта.
Caveats: padding mask в примерах не тождественна causal mask. Конечное большое отрицательное число в учебном коде не является математическим
-infinity
. Рассуждение о дисперсии требует независимости, нулевого среднего и единичной дисперсии компонент; эти условия не заявляются для наших фиксированных E.
S05. GPT-3
Citation: Tom B. Brown, Benjamin Mann, Nick Ryder et al.
Language Models are Few-Shot Learners
. 2020.
Type: original paper / author preprint; primary.
Stable ID: arXiv:2005.14165, полученная карточка v4;
https://arxiv.org/abs/2005.14165
Retrieval:
abstract-only
и библиографические метаданные; PDF/HTML полного текста не запрашивались.
Used for: C06; в abstract явно сказано, что задачи и few-shot demonstrations задавались текстом без gradient updates или fine-tuning при применении модели. Также назван autoregressive GPT-3 с 175 billion parameters.
Caveats: не использовать abstract для деталей tokenizer, layer norm, training recipe, таблиц benchmark или современных продуктов. Число параметров не требуется для расчёта нашей игрушки и не переносится на все GPT.
S06. RAG
Citation: Patrick Lewis, Ethan Perez, Aleksandra Piktus et al.
Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks
. NeurIPS 2020; arXiv revision v4, 2021.
Type: original paper / author preprint; primary.
Stable ID: arXiv:2005.11401;
https://arxiv.org/abs/2005.11401
Retrieval:
abstract-only
и метаданные; PDF и полный HTML не читались.
Used for: C12; сочетание parametric и non-parametric memory; в работе названы seq2seq generator, dense Wikipedia index и neural retriever.
Caveats: это конкретные обучаемые RAG-модели, а не доказательство, что любой pipeline поиска устроен одинаково. Abstract сообщает сравнительные результаты авторов, но не доказывает безошибочность. Наша локальная lexical retrieval simulation не воспроизводит paper.
S07. Attention Is All You Need
Citation: Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, Illia Polosukhin.
Attention Is All You Need
. 2017; получена arXiv v7 (2023).
Type: original paper / author preprint; primary.
Stable ID: arXiv:1706.03762;
https://arxiv.org/abs/1706.03762
Full text fetched:
https://arxiv.org/html/1706.03762v7
Retrieval: abstract и
полный HTML-текст paper получены
. Для главы прочитаны прежде всего §§3.1-3.5 и table 1; изображения не воспроизводились, PDF отдельно не читался.
Used for: C08-C10; equation (1), mask в §3.2.3, residual и normalization в §3.1, FFN equation (2), выходные embeddings/softmax и tying в §3.4, positional encoding в §3.5.
Caveats: original Transformer является encoder-decoder для transduction, а не идентичным GPT decoder-only. В источнике multi-head attention, layer norm, embedding scaling и связанные веса; у игрушки эти детали иные. HTML содержит конверсионные повторы символов, поэтому формулы переписаны в явной row-vector notation. Формулы ещё требуют аудита главного агента.
S08. Foundation Models
Citation: Rishi Bommasani, Drew A. Hudson, Ehsan Adeli et al.
On the Opportunities and Risks of Foundation Models
. Stanford CRFM report, 2021; arXiv v3 (2022).
Type: академический обзорный report / author preprint; secondary для обзора, original terminology proposal.
Stable ID: arXiv:2108.07258;
https://arxiv.org/abs/2108.07258
Retrieval:
abstract-only
и метаданные.
Used for: C02; foundation models обучаются на широких данных в масштабе и адаптируются к множеству downstream tasks; термин не означает готовое безошибо