Alterna · учебный материал
12 Checkpoint: Текст и токенизация
Проверьте понятия, ручные расчёты и причинные связи. Для прохождения самопроверки нужно не менее7из8.
Что в этом материале
- Восемь проверок механизма
- Исследовать и объяснить
Содержание и основные понятия
Прогресс доступен при включённом JavaScript. Просмотр не равен освоению.
Восемь проверок механизма
Порог: 7 из 8. Без таймера. Баллы начисляются за ответы, не за посещение. Это локальная самопроверка; решения будут показаны после отправки.
1. JavaScript String.length считает…
UTF-8 bytes
UTF-16 code units
Токены модели
2. В нашем byte vocabulary ID0 означает…
Padding
Байт0
Unknown
3. При overlap count пары и число замен…
Обязаны совпадать
Могут различаться
Всегда равны0
4. Для восстановления текста нужно…
Декодировать каждый piece отдельно любой ценой
Собрать все bytes, затем декодировать UTF-8
Удалить пробелы
5. UTF-8 bytes в строке Я🙂?
Ваш численный ответ
6. Начальный размер byte vocabulary?
Ваш численный ответ
7. Token count banana после первого merge an?
Ваш численный ответ
8. Размер vocabulary после4успешных merges?
Ваш численный ответ
Результат появится после отправки всех ответов.
Исследовать и объяснить
Проверьте roundtrip кириллицы, emoji, BOM и повторных пробелов. Для aaa сравните pair count с replacements. При изменении corpus проследите, какие IDs получили новые значения и почему старые embedding weights нельзя считать автоматически совместимыми.
Сначала сформулируйте гипотезу, затем измените один параметр. Сопоставьте числа с формулой; назовите крайний случай и границу применимости. Свободный вывод не оценивается фиктивным автоматическим баллом.