正交补与极小化问题

1. 设\(U\)是\(V\)的子集，则对每个\(u\in U\)均有\( \langle 0,u \rangle = 0 \)，于是\(0 \in U^{\perp}\). 设\(v,w\in U^{\perp}\)，若\(u\in U\),则：\[ \langle v+w,u \rangle = \langle v,u \rangle + \langle w,u \rangle = 0\] 因此\(v+w\in U^{\perp}\)，所以在加法下\(U^{\perp}\)是封闭的。

类似的对于\(v\in U^{\perp} \)，有\( \langle \lambda v,u \rangle = \lambda \langle v,u \rangle = 0 \)这说明\(U^{\perp}\)在标量乘法下是封闭的。

所以\(U^{\perp}\)是\(V\)的子空间。

1. \(\forall v\in V\), 均有：\(\langle v,0 \rangle = 0\) ，所以\( \{0\}^{\perp} = V \)
2. 假设\(v\in V^{\perp}\)，则\( \langle v,v \rangle = 0 \)，则\(v=0\)，所以\(V^{\perp} = 0\)
3. 假设\(v\in U\cap U^{\perp}\)，则有\( \langle v,v \rangle = 0\)，则\(v = 0\)，所以\(U \cap U^{\perp} = \{0\}\)
4. 设\(U,W\)均为\(V\)的子集，则对于\(v\in W^{\perp}\)，说明对于\(\forall~u\in W \)，都有\( \langle v,u \rangle = 0 \)，这表明对于每个\(u\in U\)，都有\( \langle v,u \rangle = 0 \)，所以\( v \in U^{\perp} \)，所以有\(W^{\perp} \subset U^{\perp}\)

首先证明： \[V = U + U^{\perp}\] 假设\(v\in V\)，并设\(e_{1},\ldots ,e_{m}\)是\(U\)的规范正交基，则：

\begin{equation} \label{eq:2} v = \underbrace{\langle v,e_{1} \rangle e_{1} + \ldots + \langle v,e_{m} \rangle e_{m}}_{u} +\underbrace{ v -\langle v,e_{1} \rangle e_{1} - \ldots - \langle v,e_{m} \rangle e_{m}}_{w} \end{equation}

显然\(u\in U\)，因为\(e_{1},\ldots ,e_{m}\)是\(U\)的一个规范正交基，所以对每个\(j=1,\ldots ,m\)均有：

\begin{equation} \label{eq:3} \langle w,e_{j} \rangle = \langle v,e_{j} \rangle - \langle v,e_{j} \rangle = 0 \end{equation}

所以\(w\)正交于\(\mathrm{span}(e_{1},\ldots ,e_{m})\)中的每个向量。也就是说\(w\in U^{\perp}\)，于是\(v = u + w\)其中\(u\in U,w\in U^{\perp}\) 另外因为\(U\cap U^{\perp} = \{0\}\)，所以\[V= U \oplus U^{\perp}\]

首先证明\(U\subset (U^{\perp})^{\perp}\)。设\(u\in U\)，则对每个\(v\in U^{\perp}\)，均有\( \langle v,u \rangle = 0 \).因为 \(u\)正交与\(U^{\perp}\)中的向量，所以\(u\in (U^{\perp})^{\perp}\)

然后我证明另一个方向。设\(v\in (U^{\perp})^{\perp}\)。设\(v\in (U^{\perp})^{\perp}\)令\(v=u+w\)，其中\(u\in U\)，且\(w\in U^{\perp}\),从而\(v-u = w\in U^{\perp}\)。因为\(v\in (U^{\perp})^{\perp}\)且\(u\in (U^{\perp})^{\perp}\)，所以\(v-u\in (U^{\perp})^{\perp}\),所以\(v-u\in U^{\perp} \cap (U^{\perp})^{\perp}\)。这表明\(v-u\)与自身正交。从而\(v-u=0\)，即\(v=u\)，于是\(v\in U\)，因此\( (U^{\perp})^{\perp} \subset U\)

为了证明\(P_{U}\)是\(V\)上的线性映射，设\(v_{1},v_{2}\in V\)，设：

\begin{equation} \label{eq:6} v_{1} = u_{1} + w_{1}, v_{2} = u_{2} + w_{2} \end{equation}

其中\(u_{1},u_{2}\in U\),\(w_{1},w_{2}\in U^{\perp}\)，则\(P_{U}v_{1} = u_{1},P_{U}v_{2} = u_{2}\)，从而： \[v_{1} + v_{2} = u_{1} + u_{2} + w_{1} + w_{2}\] 其中\(u_{1} + u_{2}\in U\),且\(w_{1} + w_{2}\in U^{\perp}\)，所以\(P_{U}(v_{1}+ v_{2}) = u_{1} + u_{2} = P_{U}v_{1} + P_{U}v_{2} \) 类似的有，设\(\lambda\in \mathbf{F}\)，若\(v= u + w\)，其中\(u\in U\)且\(w\in U^{\perp}\)，则\(\lambda v = \lambda u + \lambda w\)，其中\(\lambda u\in U, \lambda w\in U^{\perp}\),于是\(P_{U}(\lambda v) = \lambda u = \lambda P_{U}v\)，因此\(P_{U}\)是\(V\)到\(V\)的线性映射。

设\(u\in U\)，则\(u = u + 0\)，则其中\(u\in U,0\in U^{\perp}\)，所以\(P_{U}u = u\)

设\(w\in U^{\perp}\)，则\(w = 0 + w\)，则其中\(0\in U,w\in U^{\perp}\)，所以\(P_{U}w = 0\)

由\(P_{U}\)的定义可知\(\mathrm{range}(P_{U})\subset U\)。由上面第二步可知\(U\subset \mathrm{range}P_{U}\)，于是\( \mathrm{range}P_{U} = U\)

因为\(U^{\perp}\subset \mathrm{null}P_{U}\)。另外，\(\forall~v\in \mathrm{null}P_{u}\)则\(v= 0+ v\)，其中\(0\in U,v\in U^{\perp}\)，因此\(\mathrm{null}P_{U}\subset U^{\perp}\)

若\(v = u + w\)，其中\(u\in U\)，且\(w\in U^{\perp}\)，则： \[v- P_{U}v= v-u = w\in U^{\perp} \]

若\(v = u+w\)，其中\(u\in U\)，且\(w\in U^{\perp}\)，则：

\begin{equation} \label{eq:7} (P_{U})^{2}v = P_{U}(P_{U}v) = P_{U}u= u= P_{U}v \end{equation}

所以\(P_{U}^{2} = P_{U}\)

若\(v = u+w\)，其中\(u\in U\)，且\(w\in U^{\perp}\)，则： \[ \| P_{U}v \|^{2} = \| u \|^{2} \leq \| u \|^{2} + \| w \|^{2} = \| v \|^{2} \]

我们有：

\begin{eqnarray} \label{eq:9} \| v- P_{U}v \|^{2} &\leq& \| v- P_{U}v \|^{2} + \| P_{U}v - u \|^{2} &=& \| v - P_{U}v + P_{U}v - u \|^{2} \\ &=& \| v - u \|^{2} \end{eqnarray}

上式的第一个不等号成立是因为\( \| P_{U}v - u \|^{2} \)是一个非负实数，第二个等号成立是因为勾股定理，第三个等式成立是简单的消元计算。把上式两端开平方即可。