机器学习中的共轭先验（conjugate prior）

我们讨论过二项分布 ，对于二项分布的一个扩展就是多项分布 。因为我们经常会碰到一个随机变量的取值是\(K\)个互斥的结果中的一个。尽管有很多方法来描述这个变量，但是我们实用一个\(K\)维的矢量来描述结果会非常容易。举个简单的例子，假设\(K=6\)，第三个结果发生，则这个事件可以表示为：

\begin{equation} \label{eq:1} \mathbf{x} = (0,0,1,0,0,0) \end{equation}

任何一个类似这样的矢量都满足：\(sum_{k=1}^{K}x_{k} = 1\),我们用\(\mu_{k}\)来描述\(x_{k}=1\)，则\(\mathbf{x}\)的分布可以表示为：

\begin{equation} \label{eq:2} p(\mathbf{x}| \mathrm{\mu}) = \prod_{k=1}^{K}\mu_{k}^{x_{k}} \end{equation}

其中\(\mathbf{\mu} = (\mu_{1},\ldots ,\mu_{K})\)满足\(\mu_{k} \geq 0\)，且\(\sum_{k} \mu_{k} = 1 \)。很容易想到一个骰子，有六面，假若这个骰子是均匀的则\(\mu_{1} = \ldots = \mu_{6} = 1/6\)。假若这个骰子不均匀，则\(\mu_{k}\)的取值就不一定了，但是依然会满足\(\sum_{k}\mu_{k} = 1\).

现在考虑一个数据集合\(\mathcal{D}\)，长度是\(N\)，这\(N\)个数来自于对随机变量\(X\)的采样，\( \mathbf{x}_{1},\ldots , \mathbf{x}_{N} \)，对应的最大似然函数可以表示为：

\begin{equation} \label{eq:3} p(\mathcal{D}| \mathbf{\mu}) = \prod_{n=1}^{N}\prod_{k=1}^{K}\mu_{k}^{x_{nk}} = \prod_{k=1}^{K}\mu_{k}^{(\sum_{n}x_{nk})} = \prod_{k=1}^{K}\mu_{k}^{m_{k}} \end{equation}

我们看到似然函数只依赖于\(N\)个数据集合的\(K\)个量值：

\begin{equation} \label{eq:4} m_{k} = \sum_{n}x_{nk} \end{equation}

这\(K\)个量值是\(N\)个数据集合的充分统计量。其中\(m_{k}\)表示\(x_{k} = 1\)在\(N\)次观测中出现的总观测次数。

为了找到\( \mathbf{\mu} \)的最大似然解，我们需要最大化\(\ln p( \mathcal{D} | \mathbf{\mu} )\)，约束条件是\(\sum_{k} = 1\)。这个过程可以使用拉格朗日乘子算法。

\begin{equation} \label{eq:5} \sum_{k=1}^{K}m_{k}\ln \mu_{k}+ \lambda(\sum_{k=1}^{K}\mu_{k} -1) \end{equation}

对上式针对\(\mu_{k}\)求导，则：

\begin{equation} \label{eq:6} \mu_{k} = -m_{k}/\lambda \end{equation}

把式 (\ref{eq:6})带入拉格朗日乘子的约束条件，我们有\( \lambda = -N\).所以我们得到式~(\ref{eq:3})的最大似然解是：

\begin{equation} \label{eq:7} \mu_{k}^{ML} = \frac{m_{k}}{N} \end{equation}

显然这个解是\(N\)次观测过程中\(x_{k}=1\)出现的频次。

基于\(\mathbf{\mu},N\)，我们可以考虑量\(m_{1},\ldots ,m_{K}\)的联合分布，则这个分布可以表示为：

\begin{equation} \label{eq:8} \mathrm{Mult}(m_{1},m_{2},\ldots ,m_{K}| \mathbf{\mu},N) = \binom{N}{m_{1}m_{2}\ldots m_{K}} \prod_{k=1}^{K}\mu_{k}^{m_{k}} \end{equation}

式 (\ref{eq:8})叫做多项分布，其中归一化项表示把\(N\)分成\(K\)组的方法，大小为\(m_{1},\ldots ,m_{K}\)。

\begin{equation} \label{eq:9} \binom{N}{m_{1}m_{2}\ldots m_{K}} = \frac{N!}{m_{1}!\ldots m_{k}!} \end{equation}

其中:

\begin{equation} \label{eq:10} \sum_{k=1}^{K}m_{k} = N \end{equation}

在上一节，我们介绍了使用最大似然估计导出多项式分布的方法，这种方法是基于frequestist的。现在我们基于贝叶斯方法，导出多项式分布。

首先我们引入\(\mu_{k}\)的一个先验分布。通过观察多项分布式 (\ref{eq:8}) ，我们发现共轭先验具有如下形式：

\begin{equation} \label{eq:11} p( \mathbf{\mu} | \mathbf{\alpha} ) \propto \sum_{k=1}^{K}\mu_{k}^{\alpha_{k} -1} \end{equation}

其中\(0 \leq \mu \leq 1\) 且\(\sum_{K}\mu_{k} = 1 \)。此处\(\alpha_{1},\ldots ,\alpha_{k}\)是分布的参数。由于\(\mu_{k}\)之和为1这个约束的存在，这个关于\(\mu_{k}\)的分布是一个\(K-1\)维的单纯形。

针对式 (\ref{eq:11})的归一化形式，可以表示为：

\begin{equation} \label{eq:12} \mathrm{Dir}( \mathbf{\mu} | \mathbf{\alpha} ) = \frac{ \Gamma(\alpha_{0}) }{ \Gamma(\alpha_{1})\ldots \Gamma(\alpha_{K}) } \prod_{k=1}^{K} \mu_{k}^{\alpha_{k} - 1} \end{equation}

式 (\ref{eq:12})就是狄利克雷分布。这里\(\Gamma(x)\)是伽马函数。 \(\alpha_{0} = \sum_{k=1}^{K}\alpha_{k}\).

把似然函数 (\ref{eq:8}) 和先验函数 (\ref{eq:12}) 相乘，我们得到一个后验分布：

\begin{equation} \label{eq:13} p( \mathbf{\mu} | \mathcal{D}, \mathbf{\alpha} ) \propto p( \mathcal{D} | \mathbf{\mu} ) p( \mathbf{\mu} | \mathbf{\alpha} ) \propto \prod_{k=1}^{K} \mu_{k}^{\alpha_{k} + m_{k} -1} \end{equation}

我们看到后验分布和共轭先验具有相同的形式，他们看起来都像狄利克雷分布。狄利克雷肺部确实是多项分布的共轭先验。