语文股学术基础

内容与核心概念

日期:2026-09-14. 执行前可通过网页查阅资料来源,具体内容和产出限度如下;研究结果尚未转载。
问题和经验 第一章
章章章 章次 第一章 章 次 第一章
研究问题
支助支助支助 支助支持支助支助
12
UTF-16 单位、 代码点、 葡萄和字节之间有什么区别? ID 与字典有何关联? 如何将 BPE 合并? 怎样才能学习 ? 允许关联和重叠 ? 为什么解码要恢复线条? 字节退缩是什么? 辛斯皮斯与分割算法有什么不同?
L01、L02、L03;拥有字节-BPE合同
13
为什么一热乘等于外观?什么参数实际上教授跳格?为什么完全软成体与负浮肿有区别?软成型邻居来自哪里?在五氯苯甲醚中损失了什么?为什么静态嵌入和一致性状态不同?
L04、L05、L06;前几章的线性代数
14
为什么要混合位置? 如何获得Q/K/V? 为何在 Gd_head 上分裂? 什么是软轴? 因果关系面具在哪里? V怎么办? 与平均头部有何不同?
L06 §3.2
15
北纬前解码器如何? 它与原始编码器- 代码器有何不同? 位置如何改变对称性? 如何去掉ROPE相对点? SwiGLU 需要什么矩阵? 为什么堆叠不增加 vocabular ? 隐藏状态、 LMhead 和 下一个标签之间有什么联系?
L06、L07、L08;独有的编码器合同
来源来源来源
L01. String.length — MDN
MDN捐助者,参考页;经修订,日期为2026-09-02。
https://developer.mozilla.org/en-US/docs/Web/JavaScript/Reference/Global_Objects/String/length
阅读了UTF-16编码单位、鉴定人/编码点和Intl.Separtmenter/graphes的定义,这是技术说明,而不是对全Unicode Standard的单独解读。TextEncoder/TextDecoder与UTTF-8合作;单人代用装置被排除在可逆合同之外,BOM显然被保留。
L02. Neural Machine Translation of Rare Words with Subword Units
Rico Sennrich, Barry Haddow, Alexandra Birch, ACL2016, DOI10.18653/v1/P16-1162.
https://aclanthology.org/P16-1162/
https://arxiv.org/html/1508.07909v5
ALL着陆给出了一个文献目录; 然后由HTML纸接收,读取algorichm1的§3.2, tranying/ apply 合并规则和voblical office-office。 答案的后半部分被剪切。 在文章字符/ 子词 BPE 的文字中, 加上字尾标记 。
我们的版本不同:
以 256 UTF-8 字节开始, 节省空格, 允许它们通过它们合并, 不使用语言前制填器 。 它不显示为 tiktoken、 senencePiece 或准确的符号 GPT 。
L03. SentencePiece
Taku Kudo, John Richardson, EMNLP2018, arXiv:1808.06226.
https://arxiv.org/abs/1808.06226
已经收到Abstact/metadata:小字模型是从原始句中教授的,没有使用外部词前的文字。完整纸张和完成的模型没有被读/没有下载。感官Piece被描述为一个工具箱,而不是BPE的同义词。 相形之下的经验将我们的字节/代码/文字-lake基本碎裂与我们字节的字节比较,并不模拟真正的WordPiec模式。
L04. Distributed Representations of Words and Phrases and their Compositionality
Tomas Mikolov, Ilya Sutskever, Kai Chen, Greg Corrado, Jeffrey Dean,2013, arXiv:1310.4546.
https://arxiv.org/abs/1310.4546
仅易碎: 跳过格、 负缩写、 双文本演示和单词顺序的语句 。
完整软最大
公式和梯度自行删除和测试。
L05. D2L word2vec section
URL
https://d2l.ai/_sources/chapter_natural-language-processing-pretraining/word2vec.rst.txt
L04没有包括无法读取的文字的细节 。
L06. Attention Is All You Need
Ashish Vaswani et al.,2017, arXiv:1706.03762v7(2023).
https://arxiv.org/html/1706.03762v7
已经获取了TML的内容,使用了§3.1-3.5:缩放应用、多头步骤、解码面具、残余、新生力量部队、阵地、嵌入/头刺。
post-norm encoder-decoder
在我们训练的解码器中,在空气中,没有编码器/交叉注意/漏网,现代组件组合不称为GPT-2或原变异器的精确复制。
L07. RoFormer
Jianlin Su, Yu Lu, Shengfeng Pan, Ahmed Murtadha, Bo Wen, Yunfeng Liu,2021; arXiv:2104.09864v5(2023).
https://arxiv.org/html/2104.09864v5
§3.1至3.4:2D 腐烂、配对、几何曲折、相对位置点。 答案的结尾在以后的经验/参考中被剪切。 我们无法承受转移 HTML 格式的不准确性: 使用独立核实的 (R_ mq)T( R_nk) =qTR_( n-m) k。 我们不承诺以距离或无限的外推法来单调每分。
L08. GLU Variants Improve Transformer
Noam Shazeer,2020, arXiv:2002.05202v1.
https://arxiv.org/html/2002.05202v1
它有一个完全可见的 XML, 使用的公式2- 6 : ReLU- FFN, SiLU/ Swiss Gate, 三个 SwiGLU 矩阵, 比较杜吉特时对隐藏宽度的调整。 我们的比较模式保持相同的 dff , 并因此清楚地显示不同的参数 。 并不声称 SwigLU 有相同的值或总是更好 。
实质性更正和限制
15.2号规格称活动变量为活动变量。对于没有位置信号的非加速自动反应正确无误
permutation-equivariant
固定的因果掩码本身设定了订单限制,因此声明实际上并没有转移到命令上。
BBPE 字节的确教授合并规则, KGV - gram 确实更新了 E/U。 在现阶段, 解码器符合当前向前的参数化: byte- BBE
未受过语言培训
; 训练船体、检查站和质量生成是16-17年。 即使是整个建筑,也不可能从正确的公式中成为训练有素的LLM。
资料袋有针对性地审查:BPE/atenning/ROPE-GLU、两份摘要和技术统一编码简介的主要全文,每章有8份独立著作,课程来源和数字事实是独立编写的,没有大量复制纸张。