弱大数定理
1 引子
在概率论中，极限定理是最重要的理论结果。在极限定理中最核心的结果是大数定理和中心极限定理。通常，大数定理是考虑随机变量序列的平均值收敛到某预期值。相比之下，中心极限定理证明大量随机变量之和的分布在某种条件下逼近于正态分布。
2 马尔科夫不等式和切比雪夫不等式
首先引入马尔科夫不等式：
设X为取非负值的随机变量，则对于任何常数a>0,有：
P{X≥a}≤E[X]a对于a>0，令：
I={1X≥a0others由于X≥0，我们有：
I≤Xa对上述不等式两边求期望，得：
E[I]≤1aE[X]因为E[I]=P{X≥a}，所以命题得证。
设X是随机变量，均值μ和方差σ2都是有限值，则对任何k>0，有：
P{|X−μ|≥k}≤σ2k2由于(X−μ)2为非负随机变量，利用马尔科夫不等式a=k2,得：
P{(X−μ)2≥k2}≤E[(X−μ)2]k2由于(X−μ)2≥k2与|X−μ|≥k是等价的，因此上式等价于：
P{|X−μ|≥k}≤E[(X−μ)2]k2=σ2k2马尔科夫不等式和切比雪夫不等式的重要性在于，我们能够在只知道分布的期望或者只知道分布的期望和方差时，利用它们导出概率上界。当然，如果实际概率分布已知，我们可以直接计算准确的概率而不必推导概率上界。
3 例子
假设已知某工厂在一周内生产的产品数量是一个均值为50的随机变量。
- 本周内产品数量超过75件的概率是多少？
- 如果我们进一步知道每周产量的方差为25，那么本周产量在40到60之间的概率是多少？
记X为该工厂本周所生产的产品数量。
- 由马尔科夫不等式，得：P{X>75}≤E[X]75=5075=23
- 由切比雪夫不等式，得：P{|X−50|≥10}≤σ2102=14所以P{|X−50|<10}≥1−14=34
设随机变量X服从(0,10)上的均匀分布，那么，因为E[X]=5,Var[X]=25/3，所以利用切比雪夫不等式可得：
P{|X−5|>4}≤253×16≈0.52而实际的概率值为：
P{|X−5|>4}=0.20从上面的例子可以看出，我们利用切比雪夫得到概率上界，但不能用它来估计概率值本身。因此，尽管切比雪夫不等式是正确的，但是它所导出的上界并不那么贴近实际概率值。切比雪夫的一个重要的应用体现在一些命题的证明过程中。
若Var[X]=0，则：
P{X=E[X]}=1换言之，一个随机变量的方差为零的充要条件是这个随机变量以概率1等于常数。
利用切比雪夫不等式，对任何n≥1：
P{|X−μ|>1n}=0令n→∞,并应用概率的连续性性质，得：
0=limn→∞P{|X−μ|>1n}=P{limn→∞{|X−μ|>1n}}=P{X≠μ}得证。
4 弱大数定理
设X1,X2,…为独立同分布的随机变量序列，其公共期望E[Xi]=μ有限，则对任何ϵ>0:
P{|X1+…+Xnn−μ|≥ϵ}→0n→∞我们只在Var[Xi]=σ2有限的情形下证明此定理。此时，因为：
E[X1+…+Xnn]=μ,Var[X1+…+Xnn]=σ2n利用切比雪夫不等式，得：
P{|X1+…+Xnn−μ|≥ϵ}≤σ2nϵ2得证。
弱大数定理最早是詹姆斯伯努利在Xi只取0或者1的特殊情况下证明的。