03.3. 将敏感度收集到矢量中

内容与核心概念

在上一页,一次改变一个原因。
单个坐标的输出可以一起收集。 获得的梯度显示函数在当地增长的方向 。
f=x2+3y2; 点 [2.1]。
Координаты и расчёт геометрического примера приведены в тексте. Для изменения пространственного рисунка включитеJavaScript.
私人衍生物形成线性函数
对于差异化的标标量函数
f
:
R
n
→
R
f:\mathbb R^n\to\mathbb R
f
:
R
n
→
R
列协议中的梯度等于
∇
f
(
x
)
=
[
∂
f
/
∂
x
1
⋮
∂
f
/
∂
x
n
]
∈
R
n
×
1
.
\nabla f(x)=
\begin{bmatrix}
\partial f/\partial x_1\\
\vdots\\
\partial f/\partial x_n
\end{bmatrix}
\in\mathbb R^{n\times1}.
∇
f
(
x
)
=
​
∂
f
/
∂
x
1
​
⋮
∂
f
/
∂
x
n
​
​
​
∈
R
n
×
1
.
它为任何小的顺序编码第一个顺序。
δ
\delta
δ
:
f
(
x
+
δ
)
≈
f
(
x
)
+
∇
f
(
x
)
T
δ
.
f(x+\delta)\approx f(x)+\nabla f(x)^T\delta.
f
(
x
+
δ
)
≈
f
(
x
)
+
∇
f
(
x
)
T
δ
.
嗯,哦。
f
(
x
,
y
)
=
x
2
+
3
y
2
f(x,y)=x^2+3y^2
f
(
x
,
y
)
=
x
2
+
3
y
2
点点
(
2
,
1
)
(2,1)
(
2
,
1
)
:
g
=
∇
f
(
2
,
1
)
=
[
4
,
6
]
T
,
∥
g
∥
2
=
52
.
g=\nabla f(2,1)=[4,6]^T,
\qquad \|g\|_2=\sqrt{52}.
g
=
∇
f
(
2
,
1
)
=
[
4
,
6
]
T
,
∥
g
∥
2
​
=
52
​
.
梯度有一个形状入口,而不是一个洗发精。
[
n
,
n
]
[n,n]
[
n
,
n
]
损失与
P
P
P
参数此
P
P
P
在当前参数状态的坐标处 。
直接衍生产品与单项流动的比较
方向
u
u
u
单优利度长度
D
u
f
(
x
)
=
∇
f
(
x
)
T
u
,
∥
u
∥
2
=
1.
D_uf(x)=\nabla f(x)^Tu,
\qquad \|u\|_2=1.
D
u
​
f
(
x
)
=
∇
f
(
x
)
T
u
,
∥
u
∥
2
​
=
1.
你沿着斧子得到4和6
u
=
g
/
∥
g
∥
2
u=g/\|g\|_2
u
=
g
/∥
g
∥
2
​
:
D
u
f
=
g
T
g
∥
g
∥
2
=
∥
g
∥
2
=
52
≈
7.2111.
D_uf=g^T\frac g{\|g\|_2}=\|g\|_2=\sqrt{52}\approx7.2111.
D
u
​
f
=
g
T
∥
g
∥
2
​
g
​
=
∥
g
∥
2
​
=
52
​
≈
7.2111.
Koshi-Bunyakovsky的不平等
g
T
u
≤
∥
g
∥
2
∥
u
∥
2
=
∥
g
∥
2
g^Tu\le\|g\|_2\|u\|_2=\|g\|_2
g
T
u
≤
∥
g
∥
2
​
∥
u
∥
2
​
=
∥
g
∥
2
​
证明如果有限,地方增长达到最高水平
∥
u
∥
2
=
1
\|u\|_2=1
∥
u
∥
2
​
=
1
“尽快”一词取决于所选择的标准:如果还有另一个限制,许多可以接受的方向就会不同。
抗梯度设定方向,但没有安全长度
梯度梯度下降是一种
x
n
e
w
=
x
−
η
∇
f
(
x
)
.
x_{\mathrm{new}}=x-\eta\nabla f(x).
x
new
​
=
x
−
η
∇
f
(
x
)
.
准标
η
=
0.1
\eta=0.1
η
=
0.1
:
[
2
,
1
]
T
−
0.1
[
4
,
6
]
T
=
[
1.6
,
0.4
]
T
,
[2,1]^T-0.1[4,6]^T=[1.6,0.4]^T,
[
2
,
1
]
T
−
0.1
[
4
,
6
]
T
=
[
1.6
,
0.4
]
T
,
f
(
1.6
,
0.4
)
=
2.56
+
0.48
=
3.04
<
7.
f(1.6,0.4)=2.56+0.48=3.04<7.
f
(
1.6
,
0.4
)
=
2.56
+
0.48
=
3.04
<
7.
但以下
η
=
0.5
\eta=0.5
η
=
0.5
同样的抗辐射剂给
[
2
,
1
]
T
−
0.5
[
4
,
6
]
T
=
[
0
,
−
2
]
T
,
f
(
0
,
−
2
)
=
12
>
7.
[2,1]^T-0.5[4,6]^T=[0,-2]^T,
\qquad f(0,-2)=12>7.
[
2
,
1
]
T
−
0.5
[
4
,
6
]
T
=
[
0
,
−
2
]
T
,
f
(
0
,
−
2
)
=
12
>
7.
方向方向方向
−
g
-g
−
g
它不会自动给出正确的闪电线
点点
(
0
,
0
)
(0,0)
(
0
,
0
)
这种正二次函数的梯度为零, 点是全球最小值 。
∇
f
=
0
\nabla f=0
∇
f
=
0
仅指不稳定:需要关于该函数的曲线或行为的进一步资料。
超越所有国家的最后分歧
P
P
P
需要顺序参数
P
P
P
这不能使计算成为免费的:您必须存储或恢复中间值。
在实验室,比较
η
=
0.1
\eta=0.1
η
=
0.1
和
0.5
0.5
0.5
新的实验必须恢复参考点:无法按每个试验场生成不同设置的序列。
x, y, eta = 2, 1, .1
g = [2*x, 6*y]
next_point = [x - eta*g[0], y - eta*g[1]]
next_value = next_point[0]**2 + 3*next_point[1]**2
assert all(abs(a - b) < 1e-12 for a, b in zip(next_point, [1.6, .4]))
assert abs(next_value - 3.04) < 1e-12
代码重复了刚刚处理的操作
完全检查了 Python 示例章节
可用一个单独的文件; 显示的短片不会取代其执行 。
每个原因首先分别改变; " 梯度 " 组合了敏感度;向后退一小步就降低了这个例子的价值。
许多入口和许多出口,这个问题如何继续存在?
第03章Python实例
学术基础