计算和信号的学术基础

内容与核心概念

检查日期:2026-09-12. 执行前收到的资料来源。下列参考资料是经过核实的材料,不是读取其所指全部工程的说明。
问题和经验 第一章
章章章 章次 第一章 章 次 第一章
问 提问 问题 问题
来源来源来源
10
您如何解码符号/ Excent/ 折射? 当异常/ 溢流时会怎样? 为什么BF16不等于 FP16 ? 我们如何区分 FP8 编码? FMA 是什么意思? 为什么同一算术可以以不同方式四舍五入? 重新使用如何改变交通? 为什么屋顶线不能作为基准? VRAM在推断/培训时会使用什么物体?
H01、H02、H03、H04;自计数和代数
11
取样后哪些信号是无法区分的? 变异与变异有何不同? 您如何明确询问脚步/ 流? DFT 做什么? 当光谱工作描述线条变异时, 您如何应用 2D 内核 ? 弹道是如何相加的? 一个手边过滤器如何不同于圆心圈 ?
H05、H06、H07、H08;拥有别名/DFT证明和梯度固定装置
来源来源来源
H01. Floating Point and IEEE 754 Compliance for NVIDIA GPUs
Nathan Whitehead, Alex Fit-Florea, NVIDIA白皮书(2011年历史文本;更新第2026页)。
https://docs.nvidia.com/cuda/floating-point/index.html
内容已经获得:FP32/64、联系最密切的联系、FMA、印发顺序、汇编者/图书馆的差异。
我们不能把历史的"CPU没有FMA" 带到现代CPU。
在小数示例 x=1.008 中,有未经同意的位数:其固定值被二进制 x=1+2x23, b=-(1+2”-22) 精确结果2\46。这是一个技术主要来源,不是由条例IEE754-2019单独阅读。
H02. BFloat16: The secret to high performance on Cloud TPUs
Shibo Wang, Pankaj Kanwar, Google Cloud,2019-08-24.
https://cloud.google.com/blog/products/ai-machine-learning/bfloat16-the-secret-to-high-performance-on-cloud-tpus
收到了关于1/8/7字段和BF16乘以指定TPU上的FP32积累的描述。 研究. Google 地址给了404; 实际使用了云端 URL 。
保留:
源代码描述这些 TPU 上的冲洗至 零次异常值 。 我们的编码器显示抽象 BF16 存储, 并使用超长的下流, 且不模拟 TPu 执行。 以 FP32 表示的等数比特, 并不表示由于分布不同而完全相等 min/ max 最终值。
H03. FP8 Formats for Deep Learning
Paulius Micikevicius et al.,2022, arXiv:2209.05433v2.
https://arxiv.org/abs/2209.05433
收到
物理和元数据
E4M3和E5M2;E5 M2,其次是IEEE-Lake特殊编码,E4 M3扩大了不同的范围;实验室只使用FP8 E5m2;它没有为E4m3 FN提供无限的简单e4/m3编码;从抽象中学习大型模型的质量没有重复。
H04. Matrix Multiplication Background User's Guide
NVIDIA, technical guide,2023-02-01.
https://docs.nvidia.com/deeplearning/performance/dl-performance-matrix-multiplication/index.html
有关 MxK 、 KxN 2MKN 操作的内容部分、 电解强度、 拖动再利用、 分解/ tal 效果。 答案稍后被切成振动/ 脚步 。
未读原始屋顶纸
具体的V100/A100基准数没有作为目前的普遍限值;“GEMV总是有记忆限制”一语仅限于硬件/贸易模式;我们正在比较引进的B和峰值。
H05. Convolutions for Images
Aston Zhang, Zachary C. Lipton, Mu Li, Alexander J. Smola. Dive into Deep Learning, CUP2023, web1.0.3.
https://d2l.ai/_sources/chapter_convolutional-neural-networks/conv-layer.rst.txt
获得 RST : 相关视频、 固定19/ 25/ 37/ 43 、 革命性翻转、 胎儿地图/ 受体字段、 liearn 边缘内核 。 不要复制索引条款, 将水平与 i+1 混合到 i= row, j= colum 中 。 手过滤器和受过训练的内核是不同的状态 。 来自多个框架的培训结果不会由我们来公布 。
H06. Padding and Stride
同一提交人D2L.2023。
https://d2l.ai/_sources/chapter_convolutional-neural-networks/padding-and-strides.rst.txt
获得了公式输出形状和示例。
每一侧
,所以公式包括 2p 。我们不承诺不同框架的不同输出与不同的粘贴相相同。“零分”并不能保证每个像素的实际使用数量相同。
H07. scipy.signal.convolve
收到1.18.0版本的SciPy来文,正式参考。
https://docs.scipy.org/doc/scipy/reference/generated/scipy.signal.convolve.html
收到了完整/有效/相同的定义、长度和方向/FFT的警告。我们带有明确的p/ride的滑窗式表不称为SciPy 相同。对于线条组合,p=K-1,strid1;N+K-1的DFT补充材料不包括循环倡导。
H08. scipy.fft.fft
收到1.18.0版本的SciPy来文,正式参考。
https://docs.scipy.org/doc/scipy/reference/generated/scipy.fft.fft.html
收到前期DFT总和,有负信号、标准、折叠式订货。
O(N2) DFT 线
,而不是 FFT 库。要显示的磁度分为 N;对于变异定理,工作由异常变异值组成。
对研究的限制
请求了 DSP 指南抽样页面, 但退回了运输臂; 尚未读取 。 以特定的连弦序列代数法来解析 。 在没有香农来源虚构的引文的情况下, 对恢复限制信号带的指控做了有条件的描述 。 该工具包由一本学术教科书组成, 其中分两节, 技术文件 和 一份主要摘要 ; 它是一个目标基础, 独立于该章 。
在学生 & apos; 计算机上不测量硬件位数。 预设是有条件的模型参数。 VRAM 只包括明确列出的对象; 缓存、 活动、 优化状态和工作空间不等同于重量 。