正交补与极小化问题
1 正交补
设U是V的子集,则U的正交补(记为U⊥)是由V中与U的每个向量都正交的那些向量组成的集合:
U⊥={v∈V:∀ u∈U,⟨v,u⟩=0}若U是R3中的直线,则U⊥是垂直于U且包含原点的平面。若U是R3中的平面,则U⊥是垂直于U且包含原点的直线。
- 若U是V的子集,则U⊥是V的子空间。
- {0}⊥=V
- V⊥={0}
- 若U是V的子集,则U∩U⊥={0}
- 若U和W均为V的子集且U⊂W,则W⊥⊂U⊥
- 设U是V的子集,则对每个u∈U均有⟨0,u⟩=0,于是0∈U⊥. 设v,w∈U⊥,若u∈U,则:⟨v+w,u⟩=⟨v,u⟩+⟨w,u⟩=0 因此v+w∈U⊥,所以在加法下U⊥是封闭的。
类似的对于v∈U⊥,有⟨λv,u⟩=λ⟨v,u⟩=0这说明U⊥在标量乘法下是封闭的。
所以U⊥是V的子空间。
- ∀v∈V, 均有:⟨v,0⟩=0 ,所以{0}⊥=V
- 假设v∈V⊥,则⟨v,v⟩=0,则v=0,所以V⊥=0
- 假设v∈U∩U⊥,则有⟨v,v⟩=0,则v=0,所以U∩U⊥={0}
- 设U,W均为V的子集,则对于v∈W⊥,说明对于∀ u∈W,都有⟨v,u⟩=0,这表明对于每个u∈U,都有⟨v,u⟩=0,所以v∈U⊥,所以有W⊥⊂U⊥
若U,W均为V的子空间,并且V中的每个元素都可以唯一的写成U中的一个向量与W中的一个向量的和,则V是U和W的直和,记为V=U⊕W
设U是V的有限维子空间,则V=U⊕U⊥
首先证明: V=U+U⊥ 假设v∈V,并设e1,…,em是U的规范正交基,则:
v=⟨v,e1⟩e1+…+⟨v,em⟩em⏟u+v−⟨v,e1⟩e1−…−⟨v,em⟩em⏟w显然u∈U,因为e1,…,em是U的一个规范正交基,所以对每个j=1,…,m均有:
⟨w,ej⟩=⟨v,ej⟩−⟨v,ej⟩=0所以w正交于span(e1,…,em)中的每个向量。也就是说w∈U⊥,于是v=u+w其中u∈U,w∈U⊥ 另外因为U∩U⊥={0},所以V=U⊕U⊥
设V是有限维的且U是V的子空间,则dimU⊥=dimV−dimU
U是V的有限维子空间,则U=(U⊥)⊥
首先证明U⊂(U⊥)⊥。设u∈U,则对每个v∈U⊥,均有⟨v,u⟩=0.因为 u正交与U⊥中的向量,所以u∈(U⊥)⊥
然后我证明另一个方向。设v∈(U⊥)⊥。设v∈(U⊥)⊥令v=u+w,其中u∈U,且w∈U⊥,从而v−u=w∈U⊥。因为v∈(U⊥)⊥且u∈(U⊥)⊥,所以v−u∈(U⊥)⊥,所以v−u∈U⊥∩(U⊥)⊥。这表明v−u与自身正交。从而v−u=0,即v=u,于是v∈U,因此(U⊥)⊥⊂U
设U是V的有限维子空间。定义V到U上的正交投影为如下算子PU∈L(V):对v∈V,将其写成v=u+w,其中u∈U,w∈U⊥,则PUv=u
直和分解V=U⊕U⊥表明每个v∈V可唯一的写成v=u+w,其中u∈U且w∈U⊥,于是PUv定义合理。
设x∈V,x≠0且U=span(x),证明对每个x∈V均有:
PUv=⟨v,x⟩‖已知\forall~v\in V都可以写为:
\begin{equation} \label{eq:5} v= \frac{ \langle v,x \rangle }{ \| x \|^{2} } x + (v - \frac{ \langle v,x \rangle }{ \| x \|^{2} } x) \end{equation}上式第一项和第二项是互相垂直的。第一项属于\mathrm{span}(x),第二项正交与x,从而第二项属于U^{\perp}。所以P_{U}v等于上式右端第一项。
接下来给出几条正交投影P_{U}的性质: 设U是V的有限维子空间且v\in V,则:
- P_{U}\in \mathcal{L}(V)
- \forall ~u, P_{U}u = u
- \forall ~w\in U^{\perp},P_{U}w = 0
- \mathrm{range} P_{U} = U
- \mathrm{null}P_{U} = U^{\perp}
- v-P_{U}v \in U^{\perp}
- (P_{U})^{2} = P_{U}
- \| (P_{U})v \| \leq \| v \|
- 对U的每个规范正交基e_{1},\ldots ,e_{n}均有P_{U}v = \langle v,e_{1} \rangle e_{1} + \ldots + \langle v,e_{m} \rangle e_{m}
为了证明P_{U}是V上的线性映射,设v_{1},v_{2}\in V,设:
\begin{equation} \label{eq:6} v_{1} = u_{1} + w_{1}, v_{2} = u_{2} + w_{2} \end{equation}其中u_{1},u_{2}\in U,w_{1},w_{2}\in U^{\perp},则P_{U}v_{1} = u_{1},P_{U}v_{2} = u_{2},从而: v_{1} + v_{2} = u_{1} + u_{2} + w_{1} + w_{2} 其中u_{1} + u_{2}\in U,且w_{1} + w_{2}\in U^{\perp},所以P_{U}(v_{1}+ v_{2}) = u_{1} + u_{2} = P_{U}v_{1} + P_{U}v_{2} 类似的有,设\lambda\in \mathbf{F},若v= u + w,其中u\in U且w\in U^{\perp},则\lambda v = \lambda u + \lambda w,其中\lambda u\in U, \lambda w\in U^{\perp},于是P_{U}(\lambda v) = \lambda u = \lambda P_{U}v,因此P_{U}是V到V的线性映射。
设u\in U,则u = u + 0,则其中u\in U,0\in U^{\perp},所以P_{U}u = u
设w\in U^{\perp},则w = 0 + w,则其中0\in U,w\in U^{\perp},所以P_{U}w = 0
由P_{U}的定义可知\mathrm{range}(P_{U})\subset U。由上面第二步可知U\subset \mathrm{range}P_{U},于是 \mathrm{range}P_{U} = U
因为U^{\perp}\subset \mathrm{null}P_{U}。另外,\forall~v\in \mathrm{null}P_{u}则v= 0+ v,其中0\in U,v\in U^{\perp},因此\mathrm{null}P_{U}\subset U^{\perp}
若v = u + w,其中u\in U,且w\in U^{\perp},则: v- P_{U}v= v-u = w\in U^{\perp}
若v = u+w,其中u\in U,且w\in U^{\perp},则:
\begin{equation} \label{eq:7} (P_{U})^{2}v = P_{U}(P_{U}v) = P_{U}u= u= P_{U}v \end{equation}所以P_{U}^{2} = P_{U}
若v = u+w,其中u\in U,且w\in U^{\perp},则: \| P_{U}v \|^{2} = \| u \|^{2} \leq \| u \|^{2} + \| w \|^{2} = \| v \|^{2}
2 极小化问题
经常会遇到这样的问题:给定V的子空间U和点v\in V,求点u\in U使得 \| v-u \| 最小。通过正交投影可以完美解决这个问题。
设U是V的最小子空间,v\in V,且u\in U,则:
\begin{equation} \label{eq:8} \| v - P_{U}v \| \leq \| v - u \| \end{equation}当且仅当P_{U}v = u时等号成立。
我们有:
\begin{eqnarray} \label{eq:9} \| v- P_{U}v \|^{2} &\leq& \| v- P_{U}v \|^{2} + \| P_{U}v - u \|^{2} &=& \| v - P_{U}v + P_{U}v - u \|^{2} \\ &=& \| v - u \|^{2} \end{eqnarray}上式的第一个不等号成立是因为 \| P_{U}v - u \|^{2} 是一个非负实数,第二个等号成立是因为勾股定理,第三个等式成立是简单的消元计算。把上式两端开平方即可。
上式的证明表明P_{U}v是U中离v最近的点。之前我们又有P_{U}v = \langle v,e_{1} \rangle e_{1} + \ldots + \langle v,e_{m} \rangle ,其中e_{1},\ldots ,e_{m}是U的规范正交基。