02.6 通过狭窄中间空间更正

内容与核心概念

在上一页上,翻转,伸展,转动。
你不必总是改变整张大桌子。两个小表格可以提供一些更新信息;这限制了可能的修改。
更新表4x4。
Для изменения рисунка включитеJavaScript; расчёт и теория доступны далее.
瓶颈限制更新范围
让我们有一个基本矩阵。
W
∈
R
m
×
n
W\in\mathbb R^{m\times n}
W
∈
R
m
×
n
还没修好,我们做两个更新
C
∈
R
m
×
r
,
D
∈
R
r
×
n
,
Δ
W
=
C
D
.
C\in\mathbb R^{m\times r},
\qquad D\in\mathbb R^{r\times n},
\qquad \Delta W=CD.
C
∈
R
m
×
r
,
D
∈
R
r
×
n
,
Δ
W
=
C
D
.
每列
C
D
CD
C
D
是线性组合
r
r
r
列
C
C
C
, 如此
rank
⁡
(
Δ
W
)
≤
r
.
\operatorname{rank}(\Delta W)\le r.
rank
(
Δ
W
)
≤
r
.
此限制适用于更新, 不一定适用于Frank 引用
W
W
W
.
可在不实现完整矩阵的情况下向前执行
入口处
x
x
x
y
=
(
W
+
C
D
)
x
=
W
x
+
C
(
D
x
)
.
y=(W+CD)x=Wx+C(Dx).
y
=
(
W
+
C
D
)
x
=
W
x
+
C
(
D
x
)
.
右边的括号显示计算路线:第一
D
D
D
它很紧
n
n
n
- 测量入口
r
r
r
坐标,然后
C
C
C
返回修正
m
m
m
- 一个维空间。
在这里,我们走了。
C
=
[
1
2
]
,
D
=
[
3
4
]
.
C=\begin{bmatrix}1\\2\end{bmatrix},
\qquad D=\begin{bmatrix}3&4\end{bmatrix}.
C
=
[
1
2
​
]
,
D
=
[
3
​
4
​
]
.
然后就说吧
C
D
=
[
3
4
6
8
]
,
CD=\begin{bmatrix}3&4\\6&8\end{bmatrix},
C
D
=
[
3
6
​
4
8
​
]
,
第二行是第一行的两倍 所以弗兰克等于一
x
=
[
1
,
−
1
]
T
x=[1,-1]^T
x
=
[
1
,
−
1
]
T
:
D
x
=
[
−
1
]
,
C
(
D
x
)
=
[
−
1
,
−
2
]
T
.
Dx=[-1],
\qquad C(Dx)=[-1,-2]^T.
D
x
=
[
−
1
]
,
C
(
D
x
)
=
[
−
1
,
−
2
]
T
.
明确的乘法
(
C
D
)
x
(CD)x
(
C
D
)
x
其结果也是一样的。
当乘数实际保存参数时
完整更新
m
n
mn
mn
这些因素包含:
m
r
+
r
n
=
r
(
m
+
n
)
.
mr+rn=r(m+n).
m
r
+
r
n
=
r
(
m
+
n
)
.
那时只有储蓄
r
(
m
+
n
)
<
m
n
.
r(m+n)<mn.
r
(
m
+
n
)
<
mn
.
用于
m
=
n
=
4
m=n=4
m
=
n
=
4
· 在
r
=
1
r=1
r
=
1
8个,而不是16个,在
r
=
2
r=2
r
=
2
我需要16, 储蓄就不见了。
m
=
n
=
4096
,
r
=
8
m=n=4096,r=8
m
=
n
=
4096
,
r
=
8
总数为16 777 216人。
Δ
W
\Delta W
Δ
W
,即比选定的更新量少256倍。
基本 基本基本 基本
W
W
W
所以“比本矩阵的可训练值少256倍” 无法减为“整个模型需要256乘以内存”。
完成矩阵的 SVD 压缩从已有的单数指令中选择系数。 LoRA 教授近于冻结的预交易矩阵的低程更新; 这是一个不同的程序 。
r
r
r
它限制了现有的改动,不能保证任务的质量。
在下下计算器变化中
m
,
n
,
r
m,n,r
m
,
n
,
r
,单独命名有效载荷
W
W
W
下一个问题是如何计算变化的方向。
C
,
D
C,D
C
,
D
误误;为此目的
衍生物和梯度
.
x = [1, -1]
hidden = 3*x[0] + 4*x[1]
update = [hidden, 2*hidden]
assert hidden == -1 and update == [-1, -2]
代码重复了刚刚处理的操作
完全检查了 Python 示例章节
可用一个单独的文件; 显示的短片不会取代其执行 。
旧的大型矩阵没有消失,更新的有用性没有参数数目的保证。
你怎么知道系数稍有变化会发生什么?
第02章Python实例
学术基础