强大数定理

目录

1 证明

强大数定理是概率论中最广为人知的结果。它表明了独立同分布随机变量序列的均值以概率1收敛到分布的均值。

设X1,X2,…为以独立同分布随机变量序列，其公共均值为μ=E[Xi]有限，则下式以概率1成立：

X1+X2+…+Xnn→μn→∞

作为强大数定理的一个应用，设有一独立重复试验，令E为某一事件，P(E)为事件E发生的概率，又令：

Xi={1Eoccurs0others

根据强大数定理，以概率1，有：

X1+X2+…+Xnn→E[X]=P(E)

因为X1+…+Xn表示在前n次试验中事件E发生的次数，因此式 (3)说明事件E在前n次试验中发生的频率以概率1收敛到它的概率P(E)。

在强大数定理的证明中我们假设Xi具有有限e阶矩，即假定E[X4i]=K<∞，但在没有这个假设的条件下定理仍可以被证明。

首先假定E[Xi]=μ=0，记Sn=∑ni=1Xi，考虑：

E[S4n]=E[(X1+…+Xn)(X1+…+Xn)×(X1+…+Xn)(X1+…+Xn)]

将上式右边期望展开，得到各项之和，这些项具有的形式为：

X4iX3iXjX2iX2jX2iXjXkXiXjXkXl

其中i,j,k,l各不相同。由于E[Xi]=0，利用独立性有：

E[X3iXj]=0E[X2iXjXk]=0E[XiXjXkXl]=0

在展开式中X4i的系数为1，故在E[S4n]中可将所有X4i的期望合并成nE[X4i]，对固定的i,j，S4n的展开式中X2iX2j一共有(42)=6项，因此，S4n的展开式中与X2iX2j有关的部分为6∑i<jX2iX2j，其中求和号是对{1,2,…,n}的所有量元素组求和。因此，它的期望为6(n2)E[X2iX2j]，这样：

E[S4n]=nE[X4i]+6(n2)E[X2iX2j]=nK+3n(n−1)E[X2i]E[X2j]

又因为：

0≤Var(X2i)=E[X4i]−(E[X2i])2

我们有：

(E[X2i])≤E[X4i]=K

综上，有：

E[S4n]≤nK+3n(n−1)K

从而：

E[S4nn4]≤Kn3+3Kn2

因此：

E[∞∑n=1S4nn4]=∞∑n=1E[S4nn4]<∞

即随机变量∑∞n=1S4n/n4的期望有限，说明以概率1有∑∞n=1S4n/n4<∞，进而有：

limn→∞S4nn4=0

如果S4n/n4=(Sn/n)4→0，那么一定有Sn/n→0；因此，我们可以证明以概率1，有：

Snn→0n→∞

当μ=E[Xi]≠0时，可以化为期望为0的情况来处理，由于E[Xi−μ]=0,利用刚才得到的结论，可知以概率1有：

limn→∞n∑i=1Xi−μn=0

即以概率1有：

limn→∞n∑i=1Xin=μ

2 弱大数定理和强大数定理的区别

弱大数定理表明对于足够大的N，随机变量∑Ni=1XiN的值靠近μ，但是它不能保证对于所有的n>N， ∑ni=1Xin仍然停留在μ附近。因此|(X1+…+Xn)/n−μ|可以无限多次离开0，尽管出现较大偏离的概率不会很高。而强大数定理保证这种情况不会发生，特别是，强大数定理表明以概率1成立：对任何ϵ>0，

|n∑i=1Xin−μ|>ϵ