整个生命周期的学术基础

内容与核心概念

文章使用现有的XML/摘要页 arXiv,用于API和格式----正式文件。
verification.py
当地小装置。
问题和证据图
章章章 章次 第一章 章 次 第一章
研究问题
主要支助
16
您如何建立下方标签和面罩? 交叉物种之间有什么区别? AdamW 与梯度内的L2有何不同? SFT 如何将提示与答案区分开来? 什么是最佳偏好观测? LoRA 如何改变学习参数的数目 ?
F01–F06, F10–F11
17
KV - cache 有什么? 我们如何改变分布? 为什么要连续分批? 量化如何产生错误? 什么衡量标准描述服务?
F07–F09, F12–F14
18
文档如何变成目标块? 检索候选人排名如何? RAG在哪里? 如何验证工具? 应用程序的记忆与网络有什么不同?
F15-F17;当地工程合同
19
衡量法律的实际结果是什么? 数据/电压/管道平行主义如何分担工作?教育部的路线标志如何?如何比较模式?
F18–F23
20
如何制定系统合同?如何在不泄漏数据的情况下连接曲子和基因?如何检查地面和若干质量测量?转让包中包括什么?
F24-F25;通过合同在当地
培训和识别来源
F01. Language Models are Few-Shot Learners
Tom B. Brown et al., 2020, arXiv:2005.14165.
https://arxiv.org/html/2005.14165
GPT-3的结果没有转化为学习模式或由应急能力作出的许诺。
F02. Decoupled Weight Decay Regularization
Ilya Loshchilov, Frank Hutter, 2017, arXiv:1711.05101.
https://arxiv.org/html/1711.05101
支持将网络衰变与亚当W的 上瘾者光学更新数据分开。 训练标量步骤显示了操作的顺序, 但并没有复制基准文章 。
F03. Training language models to follow instructions with human feedback
Long Ouyang et al., 2022, arXiv:2203.02155.
https://arxiv.org/html/2203.02155
使用的多阶段计划是示范\preview数据/奖赏模型 \ RLHF。讲座并不声称SFT和RLHP完全相同,或人类评估自动使答案真实和安全。
F04. Direct Preference Optimization
Rafael Rafailov et al., 2023, arXiv:2305.18290.
https://arxiv.org/html/2305.18290
使用对配方逻辑的DOO逻辑预测使用不同的日志比对政策/参考。 微小固定线只计算一对损失; 这不是完全的优先培训, 也不是残疾人组织优于其他方法的证据 。
F05. LoRA: Low-Rank Adaptation of Large Language Models
Edward J. Hu et al., 2021, arXiv:2106.09685.
https://arxiv.org/html/2106.09685
支持冻结的基础矩阵和低程更新BA。
alpha/r
很明显,在适应器连接后 储蓄不会自动减少迟到。
F06. PyTollch交叉电极和亚当W
火药补贴,官方参考文件。
https://docs.pytorch.org/docs/stable/generated/torch.nn.CrossEntropyLoss.html
https://docs.pytorch.org/docs/stable/generated/torch.optim.AdamW.html
课程代码不依赖于PyTorrch,而只依赖于小的Stdlib计算。
资料来源来源
F07. FlashAttention
Tri Dao et al., 2022, arXiv:2205.14135.
https://arxiv.org/html/2205.14135
已经采用了IO-觉察到的将准确的进取量加瓦的想法以及数学操作及其执行方式的差异。 公布的加速度在硬件上和配置上都是依赖性的;它们不是为普遍系数而发出的。
F08. Efficiently Scaling Transformer Inference
Reiner Pope et al., 2022, arXiv:2211.05102.
https://arxiv.org/html/2211.05102
文章的输出不会传输到浏览器或任意的 GPU 。
F09. Efficient Memory Management for LLM Serving with PagedAttention
Woosuk Kwon et al., 2023, arXiv:2309.06180.
https://arxiv.org/html/2309.06180
使用了KV缓存、零散和连续分批/网页管理的动态增长,培训线不执行VLM,不重复已申报的流程应用程序。
F10. The Curious Case of Neural Text Degeneration
Ari Holtzman et al., 2019/2020, arXiv:1904.09751.
https://arxiv.org/html/1904.09751
支持核组合 和说解码政策改变产出 与固定模式 是经验性的工作, 无法保证一个价值顶部 是所有任务的最佳。
F11. SmoothQuant
Guangxuan Xiao et al., 2022/2024, arXiv:2211.10438.
https://arxiv.org/html/2211.10438
讲座使用重量/ 激活量和外人作用之间的差别。 讲座是常规的对称天平量度, 不是平滑的Quant, 不是 W8A8 内核 。
外部系统来源来源
F12. Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks
Patrick Lewis et al., 2020, arXiv:2005.11401.
https://arxiv.org/html/2005.11401
支持参数内存和非对称内存和共追取/发电机管道之间的差别。 本地的余弦检索器不复制 DPR、 Wikipedia 或 RAG 培训 。
F13. ReAct
Shunyu Yao et al., 2022/2023, arXiv:2210.03629.
https://arxiv.org/html/2210.03629
使用了总体共鸣/行动/观察周期,我们的最后一台机器不会产生隐藏的思维链,也不会被宣布为自主的知识媒介。
F14. Toolformer
Timo Schick et al., 2023, arXiv:2302.04761.
https://arxiv.org/html/2302.04761
语言模式的外部工具呼叫概念:允许、JSON验证、超时、时间紧迫和审计是课程的当地生产合同,而不是与工具前者有关的结果。
规模和多维性的来源
F15. Training Compute-Optimal Large Language Models
Jordan Hoffmann et al., 2022, arXiv:2203.15556.
https://arxiv.org/html/2203.15556
参数账户和计算有限的列车标牌采用了联合规划。
6ND
在演讲中,对密集的变压器教练员的粗略估计是常见的,显然不是准确的剖面或质量定律。
F16. Megatron-LM
Mohammad Shoeybi et al., 2019, arXiv:1909.08053.
https://arxiv.org/html/1909.08053
矩阵的细数显示代数等值,但不显示通信内核或某一组群的有效性。
F17. GPipe
Yanping Huang et al., 2018/2019, arXiv:1811.06965.
https://arxiv.org/html/1811.06965
支持管道步骤、微型厕所和气泡。 课程绩效公式指的是简化同步时间表, 并进行同等阶段 。
F18. Switch Transformers
William Fedus, Barret Zoph, Noam Shazeer, 2021, arXiv:2101.03961.
https://arxiv.org/html/2101.03961
培训1级顶级路由器不包括辅助平衡损失、全面通信或经过培训的大门。
F19. Learning Transferable Visual Models From Natural Language Supervision
Alec Radford et al., 2021, arXiv:2103.00020.
https://arxiv.org/html/2103.00020
它被用作受控图像文本的签名。 小型相似矩阵不是预培训 CLIP , 也不能证明对图像的理解 。
F20. Visual Instruction Tuning
Haotian Liu et al., 2023, arXiv:2304.08485.
https://arxiv.org/html/2304.08485
电文不复制 LLAVA 数据集、 结构或蒸发 。
F21. BERT
Jacob Devlin等人,2018年,ArXiv:181.04805。此外,从主列表中检查了URLarxiv: 181.03993,删除:它与其他工作有关。
https://arxiv.org/abs/1810.04805
来源记录了双向蒙面语言预培训与因果解码目标之间的区别。 BERT不用于证明类似GPT一代人的特性。
最终组装来源
F22. ONNX Concepts
ONNX观察员,正式文件。
https://onnx.ai/onnx/intro/concepts.html
使用葡萄、节点、密度、输入/输出和孔隙。 正确的 ONNX 文件的存在并不能保证每个操作员对特定运行时间的支持。
F23. NIST AI Risk Management Framework
National Institute of Standards and Technology.
https://www.nist.gov/itl/ai-risk-management-framework
已经利用了衡量和管理整个生命周期风险的需要,没有宣布当地核对清单的核证、法律意见或充分执行AI RMF。
F24. 当地工程合同
文件的碎裂、粘结固定、工具呼叫、记忆TTL、代理制步器、静音门、表单和散列核实是为该过程设计的,它们不被视为条款中的规范价值,其目的是使系统的状况、错误和界限可见。
F25. 当地数据和隐私合同
最后一章只使用合成线和支流,不增加生产数据、个人数据、外部AI API、分析员、账户和云储存,这些组成部分今后的任何连接都需要单独进行数据审查、文件的页面/存取/保存以及私下审查。
结论和边界
五章将系统级别分开:客观和额外日期;执行知识和行动;分布式计算;通过线条可核查的艺术品。这种分离并不意味着独立性:象征性和示范合同必须与服务保持一致,检索需要信任政策,并且需要套件来捕捉所有组成部分的版本。
研究大门支持公式和术语,但不能取代测量。 内地、吞吐量、质量、安全和成本取决于数据、硬件、运行时间和工作量。 因此,讲座没有通用百分率加速率、“理想”取样器、保证RAG有效性,或者说增加参数会自动改善每种情景。