正交补与极小化问题

目录

1 正交补

设U是V的子集，则U的正交补(记为U⊥)是由V中与U的每个向量都正交的那些向量组成的集合：

U⊥={v∈V:∀ u∈U,⟨v,u⟩=0}

若U是R3中的直线，则U⊥是垂直于U且包含原点的平面。若U是R3中的平面，则U⊥是垂直于U且包含原点的直线。

  1. 若U是V的子集，则U⊥是V的子空间。
  2. {0}⊥=V
  3. V⊥={0}
  4. 若U是V的子集，则U∩U⊥={0}
  5. 若U和W均为V的子集且U⊂W，则W⊥⊂U⊥
  1. 设U是V的子集，则对每个u∈U均有⟨0,u⟩=0，于是0∈U⊥. 设v,w∈U⊥，若u∈U,则：⟨v+w,u⟩=⟨v,u⟩+⟨w,u⟩=0
    因此v+w∈U⊥，所以在加法下U⊥是封闭的。

类似的对于v∈U⊥，有⟨λv,u⟩=λ⟨v,u⟩=0这说明U⊥在标量乘法下是封闭的。

所以U⊥是V的子空间。

  1. ∀v∈V, 均有：⟨v,0⟩=0 ，所以{0}⊥=V
  2. 假设v∈V⊥，则⟨v,v⟩=0，则v=0，所以V⊥=0
  3. 假设v∈U∩U⊥，则有⟨v,v⟩=0，则v=0，所以U∩U⊥={0}
  4. 设U,W均为V的子集，则对于v∈W⊥，说明对于∀ u∈W，都有⟨v,u⟩=0，这表明对于每个u∈U，都有⟨v,u⟩=0，所以v∈U⊥，所以有W⊥⊂U⊥

若U,W均为V的子空间，并且V中的每个元素都可以唯一的写成U中的一个向量与W中的一个向量的和，则V是U和W的直和，记为V=U⊕W

设U是V的有限维子空间，则V=U⊕U⊥

首先证明： V=U+U⊥

假设v∈V，并设e1,…,em是U的规范正交基，则：

v=⟨v,e1⟩e1+…+⟨v,em⟩em⏟u+v−⟨v,e1⟩e1−…−⟨v,em⟩em⏟w

显然u∈U，因为e1,…,em是U的一个规范正交基，所以对每个j=1,…,m均有：

⟨w,ej⟩=⟨v,ej⟩−⟨v,ej⟩=0

所以w正交于span(e1,…,em)中的每个向量。也就是说w∈U⊥，于是v=u+w其中u∈U,w∈U⊥ 另外因为U∩U⊥={0}，所以V=U⊕U⊥

设V是有限维的且U是V的子空间，则dimU⊥=dimV−dimU

U是V的有限维子空间，则U=(U⊥)⊥

首先证明U⊂(U⊥)⊥。设u∈U，则对每个v∈U⊥，均有⟨v,u⟩=0.因为 u正交与U⊥中的向量，所以u∈(U⊥)⊥

然后我证明另一个方向。设v∈(U⊥)⊥。设v∈(U⊥)⊥令v=u+w，其中u∈U，且w∈U⊥,从而v−u=w∈U⊥。因为v∈(U⊥)⊥且u∈(U⊥)⊥，所以v−u∈(U⊥)⊥,所以v−u∈U⊥∩(U⊥)⊥。这表明v−u与自身正交。从而v−u=0，即v=u，于是v∈U，因此(U⊥)⊥⊂U

设U是V的有限维子空间。定义V到U上的正交投影为如下算子PU∈L(V)：对v∈V，将其写成v=u+w，其中u∈U,w∈U⊥，则PUv=u

直和分解V=U⊕U⊥表明每个v∈V可唯一的写成v=u+w，其中u∈U且w∈U⊥，于是PUv定义合理。

设x∈V，x≠0且U=span(x)，证明对每个x∈V均有：

PUv=⟨v,x⟩‖x‖2x

已知∀ v∈V都可以写为：

v=⟨v,x⟩‖x‖2x+(v−⟨v,x⟩‖x‖2x)

上式第一项和第二项是互相垂直的。第一项属于span(x)，第二项正交与x，从而第二项属于U⊥。所以PUv等于上式右端第一项。

接下来给出几条正交投影PU的性质： 设U是V的有限维子空间且v∈V，则：

  1. PU∈L(V)
  2. ∀ u,PUu=u
  3. ∀ w∈U⊥,PUw=0
  4. rangePU=U
  5. nullPU=U⊥
  6. v−PUv∈U⊥
  7. (PU)2=PU
  8. ‖(PU)v‖≤‖v‖
  9. 对U的每个规范正交基e1,…,en均有PUv=⟨v,e1⟩e1+…+⟨v,em⟩em

为了证明PU是V上的线性映射，设v1,v2∈V，设：

v1=u1+w1,v2=u2+w2

其中u1,u2∈U,w1,w2∈U⊥，则PUv1=u1,PUv2=u2，从而： v1+v2=u1+u2+w1+w2

其中u1+u2∈U,且w1+w2∈U⊥，所以PU(v1+v2)=u1+u2=PUv1+PUv2 类似的有，设λ∈F，若v=u+w，其中u∈U且w∈U⊥，则λv=λu+λw，其中λu∈U,λw∈U⊥,于是PU(λv)=λu=λPUv，因此PU是V到V的线性映射。

设u∈U，则u=u+0，则其中u∈U,0∈U⊥，所以PUu=u

设w∈U⊥，则w=0+w，则其中0∈U,w∈U⊥，所以PUw=0

由PU的定义可知range(PU)⊂U。由上面第二步可知U⊂rangePU，于是rangePU=U

因为U⊥⊂nullPU。另外，∀ v∈nullPu则v=0+v，其中0∈U,v∈U⊥，因此nullPU⊂U⊥

若v=u+w，其中u∈U，且w∈U⊥，则： v−PUv=v−u=w∈U⊥

若v=u+w，其中u∈U，且w∈U⊥，则：

(PU)2v=PU(PUv)=PUu=u=PUv

所以P2U=PU

若v=u+w，其中u∈U，且w∈U⊥，则： ‖PUv‖2=‖u‖2≤‖u‖2+‖w‖2=‖v‖2

2 极小化问题

经常会遇到这样的问题：给定V的子空间U和点v∈V，求点u∈U使得‖v−u‖最小。通过正交投影可以完美解决这个问题。

设U是V的最小子空间，v∈V，且u∈U，则：

‖v−PUv‖≤‖v−u‖

当且仅当PUv=u时等号成立。

我们有：

‖v−PUv‖2≤‖v−PUv‖2+‖PUv−u‖2=‖v−PUv+PUv−u‖2=‖v−u‖2

上式的第一个不等号成立是因为‖PUv−u‖2是一个非负实数，第二个等号成立是因为勾股定理，第三个等式成立是简单的消元计算。把上式两端开平方即可。

上式的证明表明PUv是U中离v最近的点。之前我们又有PUv=⟨v,e1⟩e1+…+⟨v,em⟩，其中e1,…,em是U的规范正交基。