高斯随机变量

目录

八卦一下 ，高斯随机变量不是高斯发现的，是一个叫亚伯拉罕⋅棣莫弗的数学家发现的。无论哪个发现的高斯随机变量，都不影响高斯随机变量在概率论中的重要地位。

1 定义

如果随机变量X的概率密度函数是：

f(x)=1√2πσ2e−(x−μ)22σ2,−∞<x<∞

称这个随机变量服从参数为μ和σ2的高斯分布。稍后我们会发现μ和σ2在完全控制一个高斯变量，他们分别是该高斯变量的均值和方差。无论μ和σ2的值如何变化，高斯随机变量的图形始终是钟形。如图所示。

20170610figure5dot5gaussian.png

Figure 1: 高斯随机变量的形状

f(x)是一个概率密度函数，我们可以通过∫∞−∞f(x)dx=1来验证。

1√2πσ∫∞−∞e−(x−μ)22σ2dx=1

变量替换，令y=x−μσ，式 (2)可以变为：

1√2π∫∞−∞e−y2/2dy=1

即，我们需要证明

∫∞−∞e−y2/2dy=√2π

这个积分非常有意思，令I=∫∞−∞e−y2/2dy，则：

I2=∫∞−∞e−y2/2dy∫∞−∞e−x2/2dx

我们利用左边变换来求解上面的二重积分，令：

x=rcosθy=rsinθ

则dxdy=rdθdr，所以有：

I2=∫∞0∫2π0e−r2/2rdθdr=2π∫∞0re−r2/2dr=2π

因此I=√2π

2 正态分布的性质

2.1 期望和方差

先从标准正态分布的期望和方差开始，由于：

E[X]=1√2π∫∞−∞xe−x2/2dx=0
Var[X]=1√2π∫∞−∞x2e−x2/2dx

分部积分，我们得到Var(X)=1

2.2 正态分布的线性函数

如果X是一个服从参数为μ和σ2的正态分布的随机变量，那么aX+b也服从正态分布，且参数为aμ+b和a2σ2。设FY为Y的分布函数，则：

FY(x)=P{Y≤x}=P{aX+b≤x}=P{X≤x−ba}=Fx(x−ba)

其中FX(x)为X的分布函数，求导可得Y的密度函数：

fY(x)=1afx(x−ba)=1√2πaσe−(x−ba−μ)22σ2=1√2πaσe−(x−b−aμ)22(aσ)2

即，假设X是均值为μ方差为σ2的高斯变量，则aX+b则是一个均值为aμ+b方差为a2σ2的高斯变量。这个结论的一个重要应用是，如果X是一个参数为μ,σ2的正态随机变量，那么Z=X−aσ是一个参数为(0,1)的正态随机变量。参数为(0,1)的正态随机变量成为标准正态随机变量。

3 棣莫弗拉普拉斯极限定理

概率论中一个重要的结论就是棣莫弗拉普拉斯极限定理，它表明当n充分大时，参数为n,p的二项随机变量可以由正态随机变量来近似，其中正态随机变量的期望和方差与二项随机变量的期望和方差相同。更一般的表述：我们可以将二项随机变量标准化，先减去均值np，然后再除以标准差√np(1−p)，那么经过标准化后的随机变量的分布函数当n→∞时收敛于标准正态分布。

在n次独立重复试验中，设每次成功的概率为p，记成功的总次数为Sn，那么对于任意a<b有：当(n→ ∞)时，

P{a≤Sn−np√np(1−p)≤b}→Φ(b)−Φ(a)

现在，二项分布有两种可能的近似：当n较大p较小时，泊松分布 是一个很好的近似；另外，可以证明，当np(1−p)较大时，正态分布近似的效果很好。一般情况下，当np(1−p)≥10时，正态近似就非常好。