Hermitian 矩阵的特征值和特征向量

在信号处理领域，经常碰到对称矩阵。复对称矩阵又称为Hermitian矩阵。比如 对于实观测数据\(x(t)\)，其自相关矩阵\(\mathbf{R} = E[\mathbf{x}(t)\mathbf{x}^{T}(t)]\)是实对称矩阵，而复观测信号的自相关 矩阵是Hermitian矩阵。Hermitian在计算过程中有一系列重要特性，可以大大简 化计算过程。本文总结Hermitian矩阵特征值和特征向量的一些性质。

Hermitian 矩阵\(A\)的特征值一定是实的。

令\(\lambda\)和\(\mathbf{u}\)分别是Hermitian矩阵\(A\)的特征值和与之对 应的特征向量，即\(\mathbf{A}\mathbf{u} = \lambda \mathbf{u}\) 。两边同 时左乘特征向量的共轭转置，得二次型标量值函数 \(\mathbf{u}^{T}\mathbf{A}\mathbf{u} = \lambda \mathbf{u}^{T} \mathbf{u} \)，对其两边取共轭转置，得到\( \mathbf{u}^{T}\mathbf{A}\mathbf{u} = \lambda^{T} \mathbf{u}^{T}\mathbf{u} \) 。注意内积\(\mathbf{u}^{T}\mathbf{u}\)总是 实数，则有\(\lambda\)也一定是实数。

令\(\lambda,\mathbf{u}\)是Hermitian矩阵\(\mathbf{A}\)的特征对。若 \(\mathbf{A}\)可逆，则\(\frac{1}{\lambda}, \mathbf{u}\)是逆矩阵 \(\mathbf{A}^{-1}\) 的特征对。

因为\( \mathbf{Au} = \lambda \mathbf{u} \)，则对两边左乘 \(\mathbf{A}^{-1}\)，则有\( \mathbf{u} = \lambda \mathbf{A}^{-1} \mathbf{u}\) ，所以有\( \lambda^{-1} \mathbf{u} = \mathbf{A^{-1} u} \)

对于\(n\times n\) 的Hermitian 矩阵\(A\) ，若它所有不同的特征值 \(\lambda_{1},\lambda_{2},\ldots, \lambda_{n}\)都通过求解特征方程获得。 那么求解其特征向量可以通过以下两个步骤完成。

  1. 利用高斯消元法求解方程：

    \begin{equation} \label{eq:1} ( \mathbf{A} - \lambda \mathbf{I} ) \mathbf{x} = 0 \end{equation}

    得到与每个已知\(\lambda\)对应的非零解\(\mathbf{x}\)

  2. 利用Gram-Schmidt 正交化方法将\(\mathbf{x}\) 正交化，得到相互正交， 并且具有单位范数的特征向量。

若\(\lambda_{k}\) 是Hermitian矩阵\(A\)的多重特征值，并且其多重度为 \(m_{k}\)，那么 \( \mathrm{rank}( \mathbf{A} - \lambda_{k} \mathbf{I} ) = n - m_{k} \) 。因此任何一个Hermitian矩阵都满足可对角化定理的充要条 件。因此，有\(\mathbf{U}^{-1}\mathbf{A}\mathbf{U} = {\Sigma} \) 。接下来给出Hermitian矩阵的一个重要属性。

Hermitian矩阵的所有特征向量线性无关，并且相互正交。特征矩阵 \(\mathbf{U} = [\mathbf{u}_{1},\ldots, \mathbf{u}_{n}]\)是酉矩阵，满足 \(\mathbf{U}^{-1} = \mathbf{U}^{T}\)

证明过程分两步进行，首先证明不同特征值对应的特征向量是相互正交的。令 \(\lambda_{1}\neq \lambda_{2}\)是Hermitian矩阵\(A\)对应的特征值，且其 对应的特征向量分别是\(\mathbf{u}_{1},\mathbf{u}_2\) 。 则有:

\begin{eqnarray} \label{eq:2} \mathbf{u}_{2}^{T} \mathbf{A} \mathbf{u}_{1}&=& \lambda_{1} \mathbf{u}_{2}^{T} \mathbf{u}_{1} \\ \mathbf{u}_{1}^{T} \mathbf{A} \mathbf{u}_{2} &=& \lambda_{2} \mathbf{u}_{1}^{T} \mathbf{u}_{2} \end{eqnarray}

对前一个式子取共轭，则有：

\begin{equation} \label{eq:3} \mathbf{u}_{1}^{T} \mathbf{A} \mathbf{u}_{2}= \lambda_{1} \mathbf{u}_{1}^{T} \mathbf{u}_{2} \end{equation}

则有：\( \lambda_{1} \mathbf{u}_{1}^{T} \mathbf{u}_{2} = \lambda_{2} \mathbf{u}_{1}^{T} \mathbf{u}_{2} \)，进而有\( ( \lambda_{1} - \lambda_{2}) \mathbf{u}_{1}^{T} \mathbf{u}_{2} = 0 \) 由于 \(\lambda_{1} \neq \lambda_{2}\) 所以\(u_{1}\)和\(u_{2}\)正交。 接下来，我们证明多重特征值对应的特征向量也相互正交。若\(n\times n\)矩 阵\(A^{T} = A\) 的特征值\(\lambda_{k}\) 具有多重度\(m_{k}\)，则有\( \mathrm{rank}(\mathbf{A} - \lambda_{k} \mathbf{I}) = n- m_{k} \) ，并 且\(\mathbf{A} - \lambda_{k} \mathbf{I}\)是可逆的。于是，存在与 \(\lambda_{k}\)对应的\(m_{k}\)个特征向量，他们是方程\(( \mathbf{A} - \lambda_{k} \mathbf{I} ) \mathbf{u} = 0\)的线性无关解。这些线性无关解 是正交的。

综上，由于特征矩阵\(\mathbf{U} = [\mathbf{u}_{1},\ldots,\mathbf{u}_{n}]\) 的所有特征向量即线性无关，又相 互正交，故\(\mathbf{U}\)为酉矩阵，满足\(\mathbf{U}\mathbf{U}^{T} = \mathbf{I}\)，即\(\mathbf{U}^{T} = \mathbf{U}^{-1}\)

对于Hermitian矩阵有：

\begin{equation} \label{eq:4} \mathbf{U}^{T} \mathbf{A} \mathbf{U} = \mathrm{diag} (\lambda_{1},\lambda_{2},\ldots, \lambda_{n}) \end{equation}

也可以写成：

\begin{equation} \label{eq:5} \mathbf{A} = \mathbf{U} {\Sigma} \mathbf{U}^{T} \end{equation}

称为矩阵\(\mathbf{A}\) 在正交相似下的范式。另外，式 (\ref{eq:5})也经常 写作：

\begin{equation} \label{eq:6} \mathbf{A} = \sum_{i=1}^{n} \lambda_{i}\mathbf{u}_{i} \mathbf{u}_{i}^{T} \end{equation}

在最优化理论和信号处理中，经常遇到二次型函数\(\mathbf{x}^{T} \mathbf{A} \mathbf{x}\). 利用式 (\ref{eq:6}) 可以把二次型写作：

\begin{equation} \label{eq:7} \mathbf{x}^{T} \mathbf{A} \mathbf{x} = \sum_{i=1}^{n}\lambda_{i} |\mathbf{x}^{T} \mathbf{u}_{i}|^{2} \end{equation}

利用式 (\ref{eq:6}) 我们还可以写出\(\mathbf{A}^{-1}\)的级数展开形式：

\begin{equation} \label{eq:8} \mathbf{A}^{-1} = \sum_{i=1}^{n}\lambda_{i}^{-1} \mathbf{u}_{i}\mathbf{u}_{i}^{T} \end{equation}

因此若已知\(\mathbf{A}\)的特征值分解，我们可以很容易获得 \(\mathbf{A}^{-1}\)。