Словарь Alterna AI

Содержание и основные понятия

AI / Искусственный интеллект
Область методов и систем для распознавания, планирования, поиска решений и других интеллектуальных задач. Не синоним нейросети.
ML / Машинное обучение
Методы формирования поведения по данным и опыту относительно задачи и критерия качества.
DL / Глубокое обучение
Подход ML с композициями обучаемых преобразований и многоуровневыми представлениями.
Модель / Model
В этой главе: параметризованное преобразование входа в выход. Архитектура и значения параметров различаются.
Параметры / Weights
Числа, задающие выбранную функцию модели; могут быть обучены либо назначены вручную. Не текущие активации.
Dataset
Набор примеров для обучения или оценки. Не база, которую каждый forward обязан перечитывать.
Активация / Activation
Промежуточный численный результат конкретного вычисления при текущем входе.
Training
В рассматриваемой процедуре: вычисление loss и градиента с последующим обновлением параметров.
Inference
Здесь: применение модели с фиксированными параметрами. Не путать с вероятностным выводом в других контекстах.
Токен / Token
Дискретная единица кодирования текста. Может быть словом, частью слова, символом или байтом в зависимости от tokenizer.
Embedding
Векторное представление; embedding lookup выбирает строку таблицы по ID. Координаты не обязаны иметь человеческие названия.
Attention
Вычисление коэффициентов по query/key и смешивание values. Коэффициенты зависят от входа и не тождественны параметрам проекций.
Logits
Ненормированные вещественные оценки кандидатов. Не вероятности.
Softmax
Преобразование оценок z в распределение: exp(z_j), делённое на сумму экспонент. Вычитание общего максимума улучшает устойчивость.
Контекст / Context
Данные, переданные для текущего вызова модели: запрос, инструкции, выбранная история и внешние сведения.
RAG
Генерация с использованием извлечённых внешних сведений. Поиск при запросе сам по себе не обновляет веса generator.
Память приложения
Внешние записи, сохраняемые между вызовами. Влияют на модель, когда приложение использует их при сборке входа.
Tool
Внешний исполнитель ограниченной операции. Право и аргументы проверяются runtime, а не текстом документа.
Skill
В рамках курса: пакет инструкций/описаний рабочего процесса. Термин не означает автоматическое изменение весов или прав.
Agent runtime
Программа, управляющая циклом вызовов модели, инструментов и наблюдений с ограничениями и условиями остановки.
Вектор
Элемент векторного пространства. После выбора базиса записывается упорядоченными координатами.
Базис
Линейно независимый порождающий набор пространства. Координаты зависят от базиса.
Норма
Неотрицательная длина с однородностью и неравенством треугольника; ноль только на нулевом векторе.
Скалярное произведение
Сумма попарных произведений координат; скалярный результат.
Cosine similarity
Dot, делённый на произведение евклидовых норм ненулевых аргументов.
Ортогональная проекция
Ближайший вектор выбранного подпространства в евклидовой метрике; остаток ортогонален ему.
Ранг
Размерность образа линейного преобразования; численный ранг зависит от допуска.
SVD
Разложение A=UΣVᵀ на ортогональные базисы и неотрицательные сингулярные масштабы.
Градиент
Вектор частных производных скалярной функции; локальный рост относительно выбранных координат/метрики.
Jacobian
Матрица J_ij=∂f_i/∂x_j; в курсе shape[выход,вход].
Hessian
Матрица вторых производных скалярной функции, описывающая локальную кривизну.
Likelihood
Вероятность/плотность фиксированных данных как функция параметров; не posterior без prior.
Энтропия
Среднее −log p по распределениюp; наты дляln и биты дляlog₂.
Cross-entropy
Среднее −log q по целевомуp. CE(p,q)=H(p)+KL(p||q).
KL divergence
Среднее log(p/q) поp; несимметрична, не метрика.
Perplexity
Экспонента средней token log-loss внатах, либо2встепени log-loss вбитах.
Adam
Адаптивный optimizer с EMA первого/второго момента и коррекцией начального смещения.
Generalization
Качество на новых данных, отличное от минимизации ошибки уже использованного training set.
Precision
TP/(TP+FP): доля истинных positives среди предсказанных positives; при нулевом знаменателе требует convention.
Recall
TP/(TP+FN): доля найденных positives среди реальных positives.
Centroid K-means
Арифметическое среднее точек назначенного непустого кластера при squared Euclidean objective.
PCA
Ортогональные направления максимальной дисперсии центрированных данных; не supervised важность для target.
Функция активации
Преобразование preactivation, часто нелинейное и поэлементное. Не путать с конкретным значением activation.
MLP
Композиция плотных affine layers и hidden activations с отдельным output layer.
LayerNorm
Нормирование по координатам выбранного представления одного примера, обычно с последующим обучаемым affine преобразованием.
Residual path
Сложение x+F(x) с совпадающими shapes; создаёт прямой путь, но не гарантирует ненулевой общий gradient.
Automatic differentiation
Вычисление derivatives программы через локальные правила и chain rule; не finite differences и не optimizer update.
Топологический порядок
Порядок узлов DAG, в котором каждый parent предшествует своим зависимым узлам.
Floating point
Представление через знак, exponent и significand с конечной точностью и специальными кодировками.
Subnormal
Число с минимальным encoded exponent и без скрытой единицы; обеспечивает постепенный underflow в поддерживающем его режиме.
FMA
Умножение со сложением с одним финальным округлением; обычно считается двумя FLOPs.
Arithmetic intensity
Отношение арифметических операций к байтам трафика в выбранной модели памяти.
Roofline
Оценка throughput как min(compute peak,bandwidth×intensity), не измерение программы.
KV-cache
Кеш keys/values ранее обработанных токенов при autoregressive inference; не параметры модели.
Aliasing
Неразличимость различных исходных частот/сигналов после выбранной дискретизации.
Свёртка
Линейная операция y[n]=Σh[j]x[n−j]; в sliding-window форме включает переворот ядра.
Cross-correlation
Вещественная скользящая сумма произведений без переворота ядра в принятой здесь window convention.
DFT
Дискретное преобразование Фурье; FFT является семейством быстрых алгоритмов его вычисления.
Receptive field
Область исходного входа, способная влиять на выбранный выходной элемент через вычислительный граф.
Byte-level BPE
Обучаемое объединение частых соседних byte-token pairs; конкретные normalization,pre-tokenization и ranks входят в контракт tokenizer.
Grapheme cluster
Группа Unicode code points, воспринимаемая как один знак; не обязательно token модели.
Skip-gram
Задача предсказания context tokens по центральному token с обучаемыми входными/выходными представлениями.
Contextual state
Activation позиции после обработки окружающей последовательности; не новая строка weights embedding.
Causal mask
Ограничение attention на текущую и предыдущие позиции, применяемое до softmax.
Multi-head attention
Независимые attention calculations в projection subspaces с concat и выходной проекцией.
RoPE
Позиционные вращения пар координат Q/K, вводящие относи