14.2 一份划界案的三个作用

内容与核心概念

在上一页,为什么文字交换数据?
请求 -- -- 与什么比较 -- --关键 -- 比较了什么,价值 -- -- 要传达什么 -- -- 是角色的类比;所有三个对象都是数字矢量。
请求与密钥比较; 分数按转移的数值加权。 在预测持续时间时, 未来是不存在的。 有几个头目进行了独立比较 。
Для изменения рисунка включитеJavaScript; расчёт и теория доступны далее.
一份划界案的三个作用
X[n, d_model] 矩阵 W ⁇ , W_K, W _V 将每行翻译为查询、密钥和 vale。 简单的话, 宽度相同 :
Q
=
X
W
Q
,
K
=
X
W
K
,
V
=
X
W
V
,
W
∗
∈
R
d
×
d
.
Q=XW_Q,\quad K=XW_K,\quad V=XW_V,\qquad W_*\in\mathbb R^{d\times d}.
Q
=
X
W
Q
​
,
K
=
X
W
K
​
,
V
=
X
W
V
​
,
W
∗
​
∈
R
d
×
d
.
如果 W ⁇ I , 则 ⁇ X。 但身份是一个投影矩阵; Q 不需要平方或单方。 在默认 X = [1.0] , [0.1] 中, [1.1] 有形状[3.2] 和每个投影[2.2] 。
W ⁇ [2.0],[0.1]]] 首个夸克在W ⁇ [2.0]时成为第三个[2.1]。W_K和W_V可以保持不变:然后比较查询的方法就改变,而不是自己估价。在真正的模型中,这些矩阵与 los 结合研究;实验室滑动器只能手工设置。
实验。
首先,改变W ⁇ ,然后是W_V。 在第一种情况中,改变分数和同僚;在第二种情况中:Q/K共助者保持不变,改变混合物的内容。在计算之前先检查形状:任意重塑不会纠正不一致的矩阵。
X=[[1,0],[0,1],[1,1]]; W=[[2,0],[0,1]]
Q=[[sum(row[k]*W[k][j] for k in range(2)) for j in range(2)] for row in X]
assert Q==[[2,0],[0,1],[2,1]]
代码重复了刚刚处理的操作
完全检查了 Python 示例章节
可用一个单独的文件; 显示的短片不会取代其执行 。
Symility由Q/K定义,混合物的内装物由V定义。
这一问题如何继续下去?
第14章的皮顿实例
学术基础