15.4 分别处理每个当期

内容与核心概念

前一页,坐标对面的位置。
在两个条目之间转移注意力。一个小的FFFN网络,然后分别转换每个条目的表示法。
矢量获得位置信息、交流信息并分别更新其状况。剩余数额维持同一路径。最后一张表格提供了词典估计数。
Для изменения рисунка включитеJavaScript; расчёт и теория доступны далее.
每个职位的不线性
注意绑定条目; FFFFN 混合单独条目的坐标。
F
(
X
)
=
ReLU
⁡
(
X
W
1
+
b
1
)
W
2
+
b
2
.
F(X)=\operatorname{ReLU}(XW_1+b_1)W_2+b_2.
F
(
X
)
=
ReLU
(
X
W
1
​
+
b
1
​
)
W
2
​
+
b
2
​
.
X[n,d],W1[d,d_ff], W2[d_f,d。所有条目都使用相同的网络,但不同层次都有自己的矩阵。
SwiGLU在公认的非偏见选项中使用三个矩阵:
G
=
SiLU
⁡
(
X
W
g
)
,
U
=
X
W
u
,
F
(
X
)
=
(
G
⊙
U
)
W
d
.
G=\operatorname{SiLU}(XW_g),\quad U=XW_u,\quad
F(X)=(G\odot U)W_d.
G
=
SiLU
(
X
W
g
​
)
,
U
=
X
W
u
​
,
F
(
X
)
=
(
G
⊙
U
)
W
d
​
.
G和U有[n,d_ff], 协调的工作。 这不是 matmul G. U. 。 下向投影返回宽度。 L08 比较选项与已校正的隐藏宽度;
我们的实验室保存 dff=2d
所以SwiGLU含有比ReLU更多的参数。
d=4,d_ff=8 reLU-FFN有32+8+32+4=76 scalar cbias。Bebias SwiGLU有3x32=96。同一形状的出入口不表示等值。
研究。
比较这两个结构, 跟踪完整的网络列表, 门/ 上/ 产品/ 下。 结构控制的变化重新启动模型; 随机日志的比较并不是对所培训模型质量的实验。 您不能仅仅因为有门就说“ SwiGLU 理解得更好 ” 。
d,hidden=4,8
relu_params=d*hidden+hidden+hidden*d+d
swiglu_params=3*d*hidden
assert (relu_params,swiglu_params)==(76,96)
代码重复了刚刚处理的操作
完全检查了 Python 示例章节
可用一个单独的文件; 显示的短片不会取代其执行 。
Gate/up/ down; 固定 d_ff 预算不同于 ReLU 。
这一问题如何继续下去?
第15章的皮顿实例
学术基础