19.1 规模和质量——不同价值

内容与核心概念

已经确定了资源、层次和外部方案。
更多的参数需要更多的资源。结果的有用性需要对照数据加以检查;其大小并不自动产生。
您可以分割数据、表格或步骤。部分结果需要链接。不同的模式首先转换为宽度适当的矢量,专家则按照有限的路线选择。
Для изменения рисунка включитеJavaScript; расчёт и теория доступны далее.
需要分配预算,而不仅仅是增加模式。
培训计划连接非编组变量的数量
N
位数
D
结构、数据质量和计算预算。
C≈6ND
它对于数量级是有用的, 但是它没有考虑到精确的层, 序列的组合, 安全, 计算,利用, 和优化的间接费用。
C
t
r
a
i
n
≈
6
N
D
.
C_{train}\approx 6ND.
C
t
r
ain
​
≈
6
N
D
.
计算机最佳研究表明,如果有固定预算,参数和数据应该一起计算,而不是用一个日益庞大的固定船体模型来培训。 F15. 比例法描述了所研究范围的经验趋势,但并不表明每个下游、安全或实际度量指标都有改进。
模型就是这么显示的
预算探索器变化
N
,
D
以及可用的 FLOP 和 可用 FLPP 和 只显示可行性信息 。 单一数据分类账考虑到独特/ 有效的物证、 时代、 混合权重和污染。 重复相同的文字会增加处理过的物证, 但并不等于相同数量的新信息。
适用范围。
FLOP 术语不等于长城时间、能量或成本。 测得的风险范围的外推法是不正确的。 参数账户隐藏了非自然和动作替代品; 仅按总计对密度和教育部进行比较是不正确的 。
parameters_19a=2_000_000; training_tokens_19a=3_000_000
rough_flops_19a=6*parameters_19a*training_tokens_19a
assert rough_flops_19a==36_000_000_000_000
代码重复了刚刚处理的操作
完全检查了 Python 示例章节
可用一个单独的文件; 显示的短片不会取代其执行 。
资源和质量要求分别进行计量和提供数据。
同样的模型看到不同的例子,这个问题如何继续存在?
第19章的皮顿实例
学术基础