Processing math: 60%

正交补与极小化问题

目录

1 正交补

设U是V的子集，则U的正交补(记为U⊥)是由V中与U的每个向量都正交的那些向量组成的集合：

U⊥={v∈V:∀ u∈U,⟨v,u⟩=0}

若U是R3中的直线，则U⊥是垂直于U且包含原点的平面。若U是R3中的平面，则U⊥是垂直于U且包含原点的直线。

  1. 若U是V的子集，则U⊥是V的子空间。
  2. {0}⊥=V
  3. V⊥={0}
  4. 若U是V的子集，则U∩U⊥={0}
  5. 若U和W均为V的子集且U⊂W，则W⊥⊂U⊥
  1. 设U是V的子集，则对每个u∈U均有⟨0,u⟩=0，于是0∈U⊥. 设v,w∈U⊥，若u∈U,则：⟨v+w,u⟩=⟨v,u⟩+⟨w,u⟩=0 因此v+w∈U⊥，所以在加法下U⊥是封闭的。

类似的对于v∈U⊥，有⟨λv,u⟩=λ⟨v,u⟩=0这说明U⊥在标量乘法下是封闭的。

所以U⊥是V的子空间。

  1. ∀v∈V, 均有：⟨v,0⟩=0 ，所以{0}⊥=V
  2. 假设v∈V⊥，则⟨v,v⟩=0，则v=0，所以V⊥=0
  3. 假设v∈U∩U⊥，则有⟨v,v⟩=0，则v=0，所以U∩U⊥={0}
  4. 设U,W均为V的子集，则对于v∈W⊥，说明对于∀ u∈W，都有⟨v,u⟩=0，这表明对于每个u∈U，都有⟨v,u⟩=0，所以v∈U⊥，所以有W⊥⊂U⊥

若U,W均为V的子空间，并且V中的每个元素都可以唯一的写成U中的一个向量与W中的一个向量的和，则V是U和W的直和，记为V=U⊕W

设U是V的有限维子空间，则V=U⊕U⊥

首先证明： V=U+U⊥ 假设v∈V，并设e1,…,em是U的规范正交基，则：

v=⟨v,e1⟩e1+…+⟨v,em⟩em⏟u+v−⟨v,e1⟩e1−…−⟨v,em⟩em⏟w

显然u∈U，因为e1,…,em是U的一个规范正交基，所以对每个j=1,…,m均有：

⟨w,ej⟩=⟨v,ej⟩−⟨v,ej⟩=0

所以w正交于span(e1,…,em)中的每个向量。也就是说w∈U⊥，于是v=u+w其中u∈U,w∈U⊥ 另外因为U∩U⊥={0}，所以V=U⊕U⊥

设V是有限维的且U是V的子空间，则dimU⊥=dimV−dimU

U是V的有限维子空间，则U=(U⊥)⊥

首先证明U⊂(U⊥)⊥。设u∈U，则对每个v∈U⊥，均有⟨v,u⟩=0.因为 u正交与U⊥中的向量，所以u∈(U⊥)⊥

然后我证明另一个方向。设v∈(U⊥)⊥。设v∈(U⊥)⊥令v=u+w，其中u∈U，且w∈U⊥,从而v−u=w∈U⊥。因为v∈(U⊥)⊥且u∈(U⊥)⊥，所以v−u∈(U⊥)⊥,所以v−u∈U⊥∩(U⊥)⊥。这表明v−u与自身正交。从而v−u=0，即v=u，于是v∈U，因此(U⊥)⊥⊂U

设U是V的有限维子空间。定义V到U上的正交投影为如下算子PU∈L(V)：对v∈V，将其写成v=u+w，其中u∈U,w∈U⊥，则PUv=u

直和分解V=U⊕U⊥表明每个v∈V可唯一的写成v=u+w，其中u∈U且w∈U⊥，于是PUv定义合理。

设x∈V，x≠0且U=span(x)，证明对每个x∈V均有：

PUv=⟨v,x⟩‖

已知\forall~v\in V都可以写为：

\begin{equation} \label{eq:5} v= \frac{ \langle v,x \rangle }{ \| x \|^{2} } x + (v - \frac{ \langle v,x \rangle }{ \| x \|^{2} } x) \end{equation}

上式第一项和第二项是互相垂直的。第一项属于\mathrm{span}(x)，第二项正交与x，从而第二项属于U^{\perp}。所以P_{U}v等于上式右端第一项。

接下来给出几条正交投影P_{U}的性质： 设U是V的有限维子空间且v\in V，则：

  1. P_{U}\in \mathcal{L}(V)
  2. \forall ~u, P_{U}u = u
  3. \forall ~w\in U^{\perp},P_{U}w = 0
  4. \mathrm{range} P_{U} = U
  5. \mathrm{null}P_{U} = U^{\perp}
  6. v-P_{U}v \in U^{\perp}
  7. (P_{U})^{2} = P_{U}
  8. \| (P_{U})v \| \leq \| v \|
  9. 对U的每个规范正交基e_{1},\ldots ,e_{n}均有P_{U}v = \langle v,e_{1} \rangle e_{1} + \ldots + \langle v,e_{m} \rangle e_{m}

为了证明P_{U}是V上的线性映射，设v_{1},v_{2}\in V，设：

\begin{equation} \label{eq:6} v_{1} = u_{1} + w_{1}, v_{2} = u_{2} + w_{2} \end{equation}

其中u_{1},u_{2}\in U,w_{1},w_{2}\in U^{\perp}，则P_{U}v_{1} = u_{1},P_{U}v_{2} = u_{2}，从而： v_{1} + v_{2} = u_{1} + u_{2} + w_{1} + w_{2} 其中u_{1} + u_{2}\in U,且w_{1} + w_{2}\in U^{\perp}，所以P_{U}(v_{1}+ v_{2}) = u_{1} + u_{2} = P_{U}v_{1} + P_{U}v_{2} 类似的有，设\lambda\in \mathbf{F}，若v= u + w，其中u\in U且w\in U^{\perp}，则\lambda v = \lambda u + \lambda w，其中\lambda u\in U, \lambda w\in U^{\perp},于是P_{U}(\lambda v) = \lambda u = \lambda P_{U}v，因此P_{U}是V到V的线性映射。

设u\in U，则u = u + 0，则其中u\in U,0\in U^{\perp}，所以P_{U}u = u

设w\in U^{\perp}，则w = 0 + w，则其中0\in U,w\in U^{\perp}，所以P_{U}w = 0

由P_{U}的定义可知\mathrm{range}(P_{U})\subset U。由上面第二步可知U\subset \mathrm{range}P_{U}，于是 \mathrm{range}P_{U} = U

因为U^{\perp}\subset \mathrm{null}P_{U}。另外，\forall~v\in \mathrm{null}P_{u}则v= 0+ v，其中0\in U,v\in U^{\perp}，因此\mathrm{null}P_{U}\subset U^{\perp}

若v = u + w，其中u\in U，且w\in U^{\perp}，则： v- P_{U}v= v-u = w\in U^{\perp}

若v = u+w，其中u\in U，且w\in U^{\perp}，则：

\begin{equation} \label{eq:7} (P_{U})^{2}v = P_{U}(P_{U}v) = P_{U}u= u= P_{U}v \end{equation}

所以P_{U}^{2} = P_{U}

若v = u+w，其中u\in U，且w\in U^{\perp}，则： \| P_{U}v \|^{2} = \| u \|^{2} \leq \| u \|^{2} + \| w \|^{2} = \| v \|^{2}

2 极小化问题

经常会遇到这样的问题：给定V的子空间U和点v\in V，求点u\in U使得 \| v-u \| 最小。通过正交投影可以完美解决这个问题。

设U是V的最小子空间，v\in V，且u\in U，则：

\begin{equation} \label{eq:8} \| v - P_{U}v \| \leq \| v - u \| \end{equation}

当且仅当P_{U}v = u时等号成立。

我们有：

\begin{eqnarray} \label{eq:9} \| v- P_{U}v \|^{2} &\leq& \| v- P_{U}v \|^{2} + \| P_{U}v - u \|^{2} &=& \| v - P_{U}v + P_{U}v - u \|^{2} \\ &=& \| v - u \|^{2} \end{eqnarray}

上式的第一个不等号成立是因为 \| P_{U}v - u \|^{2} 是一个非负实数，第二个等号成立是因为勾股定理，第三个等式成立是简单的消元计算。把上式两端开平方即可。

上式的证明表明P_{U}v是U中离v最近的点。之前我们又有P_{U}v = \langle v,e_{1} \rangle e_{1} + \ldots + \langle v,e_{m} \rangle ，其中e_{1},\ldots ,e_{m}是U的规范正交基。