Processing math: 60%

正交补与极小化问题

目录

1 正交补

UV的子集,则U的正交补(记为U)是由V中与U的每个向量都正交的那些向量组成的集合:

U={vV: uU,v,u=0}

UR3中的直线,则U是垂直于U且包含原点的平面。若UR3中的平面,则U是垂直于U且包含原点的直线。

  1. UV的子集,则UV的子空间。
  2. {0}=V
  3. V={0}
  4. UV的子集,则UU={0}
  5. UW均为V的子集且UW,则WU
  1. UV的子集,则对每个uU均有0,u=0,于是0U. 设v,wU,若uU,则:v+w,u=v,u+w,u=0 因此v+wU,所以在加法下U是封闭的。

类似的对于vU,有λv,u=λv,u=0这说明U在标量乘法下是封闭的。

所以UV的子空间。

  1. vV, 均有:v,0=0 ,所以{0}=V
  2. 假设vV,则v,v=0,则v=0,所以V=0
  3. 假设vUU,则有v,v=0,则v=0,所以UU={0}
  4. U,W均为V的子集,则对于vW,说明对于 uW,都有v,u=0,这表明对于每个uU,都有v,u=0,所以vU,所以有WU

U,W均为V的子空间,并且V中的每个元素都可以唯一的写成U中的一个向量与W中的一个向量的和,则VUW的直和,记为V=UW

UV的有限维子空间,则V=UU

首先证明: V=U+U 假设vV,并设e1,,emU的规范正交基,则:

v=v,e1e1++v,ememu+vv,e1e1v,ememw

显然uU,因为e1,,emU的一个规范正交基,所以对每个j=1,,m均有:

w,ej=v,ejv,ej=0

所以w正交于span(e1,,em)中的每个向量。也就是说wU,于是v=u+w其中uU,wU 另外因为UU={0},所以V=UU

V是有限维的且UV的子空间,则dimU=dimVdimU

UV的有限维子空间,则U=(U)

首先证明U(U)。设uU,则对每个vU,均有v,u=0.因为 u正交与U中的向量,所以u(U)

然后我证明另一个方向。设v(U)。设v(U)v=u+w,其中uU,且wU,从而vu=wU。因为v(U)u(U),所以vu(U),所以vuU(U)。这表明vu与自身正交。从而vu=0,即v=u,于是vU,因此(U)U

UV的有限维子空间。定义VU上的正交投影为如下算子PUL(V):对vV,将其写成v=u+w,其中uU,wU,则PUv=u

直和分解V=UU表明每个vV可唯一的写成v=u+w,其中uUwU,于是PUv定义合理。

xVx0U=span(x),证明对每个xV均有:

PUv=v,x

已知\forall~v\in V都可以写为:

\begin{equation} \label{eq:5} v= \frac{ \langle v,x \rangle }{ \| x \|^{2} } x + (v - \frac{ \langle v,x \rangle }{ \| x \|^{2} } x) \end{equation}

上式第一项和第二项是互相垂直的。第一项属于\mathrm{span}(x),第二项正交与x,从而第二项属于U^{\perp}。所以P_{U}v等于上式右端第一项。

接下来给出几条正交投影P_{U}的性质: 设UV的有限维子空间且v\in V,则:

  1. P_{U}\in \mathcal{L}(V)
  2. \forall ~u, P_{U}u = u
  3. \forall ~w\in U^{\perp},P_{U}w = 0
  4. \mathrm{range} P_{U} = U
  5. \mathrm{null}P_{U} = U^{\perp}
  6. v-P_{U}v \in U^{\perp}
  7. (P_{U})^{2} = P_{U}
  8. \| (P_{U})v \| \leq \| v \|
  9. U的每个规范正交基e_{1},\ldots ,e_{n}均有P_{U}v = \langle v,e_{1} \rangle e_{1} + \ldots + \langle v,e_{m} \rangle e_{m}

为了证明P_{U}V上的线性映射,设v_{1},v_{2}\in V,设:

\begin{equation} \label{eq:6} v_{1} = u_{1} + w_{1}, v_{2} = u_{2} + w_{2} \end{equation}

其中u_{1},u_{2}\in U,w_{1},w_{2}\in U^{\perp},则P_{U}v_{1} = u_{1},P_{U}v_{2} = u_{2},从而: v_{1} + v_{2} = u_{1} + u_{2} + w_{1} + w_{2} 其中u_{1} + u_{2}\in U,且w_{1} + w_{2}\in U^{\perp},所以P_{U}(v_{1}+ v_{2}) = u_{1} + u_{2} = P_{U}v_{1} + P_{U}v_{2} 类似的有,设\lambda\in \mathbf{F},若v= u + w,其中u\in Uw\in U^{\perp},则\lambda v = \lambda u + \lambda w,其中\lambda u\in U, \lambda w\in U^{\perp},于是P_{U}(\lambda v) = \lambda u = \lambda P_{U}v,因此P_{U}VV的线性映射。

u\in U,则u = u + 0,则其中u\in U,0\in U^{\perp},所以P_{U}u = u

w\in U^{\perp},则w = 0 + w,则其中0\in U,w\in U^{\perp},所以P_{U}w = 0

P_{U}的定义可知\mathrm{range}(P_{U})\subset U。由上面第二步可知U\subset \mathrm{range}P_{U},于是 \mathrm{range}P_{U} = U

因为U^{\perp}\subset \mathrm{null}P_{U}。另外,\forall~v\in \mathrm{null}P_{u}v= 0+ v,其中0\in U,v\in U^{\perp},因此\mathrm{null}P_{U}\subset U^{\perp}

v = u + w,其中u\in U,且w\in U^{\perp},则: v- P_{U}v= v-u = w\in U^{\perp}

v = u+w,其中u\in U,且w\in U^{\perp},则:

\begin{equation} \label{eq:7} (P_{U})^{2}v = P_{U}(P_{U}v) = P_{U}u= u= P_{U}v \end{equation}

所以P_{U}^{2} = P_{U}

v = u+w,其中u\in U,且w\in U^{\perp},则: \| P_{U}v \|^{2} = \| u \|^{2} \leq \| u \|^{2} + \| w \|^{2} = \| v \|^{2}

2 极小化问题

经常会遇到这样的问题:给定V的子空间U和点v\in V,求点u\in U使得 \| v-u \| 最小。通过正交投影可以完美解决这个问题。

UV的最小子空间,v\in V,且u\in U,则:

\begin{equation} \label{eq:8} \| v - P_{U}v \| \leq \| v - u \| \end{equation}

当且仅当P_{U}v = u时等号成立。

我们有:

\begin{eqnarray} \label{eq:9} \| v- P_{U}v \|^{2} &\leq& \| v- P_{U}v \|^{2} + \| P_{U}v - u \|^{2} &=& \| v - P_{U}v + P_{U}v - u \|^{2} \\ &=& \| v - u \|^{2} \end{eqnarray}

上式的第一个不等号成立是因为 \| P_{U}v - u \|^{2} 是一个非负实数,第二个等号成立是因为勾股定理,第三个等式成立是简单的消元计算。把上式两端开平方即可。

上式的证明表明P_{U}vU中离v最近的点。之前我们又有P_{U}v = \langle v,e_{1} \rangle e_{1} + \ldots + \langle v,e_{m} \rangle ,其中e_{1},\ldots ,e_{m}U的规范正交基。