正态分布的前世今生(七)

(七)正态魅影

Everyone believes in it: experimentalists believing that it is a
mathematical theorem, mathematicians believing that it is an empirical fact.
---- Henri Poincare

f(x)=12π−−√σe−(x−μ)22σ2f(x)=12πσe−(x−μ)22σ2

E.T. Jaynes 在《Probability Theory, the Logic of Science》提出了两个问题:

1. 为什么正态分布被如此广泛的使用？
2. 为什么正态分布在实践使用中非常的成功？

E.T. Jaynes 指出，正态分布在实践中成功的被广泛应用，更多的是因为正态分布在数学方面的具有多方面的稳定性质，这些性质包括：

• 两个正态分布密度的乘积还是正态分布
• 两个正态分布密度的卷积还是正态分布，也就是两个正态分布的和还是正态分布
• 正态分布的傅立叶变换还是正态分布
• 中心极限定理保证了多个随机变量的求和效应将导致正态分布
• 正态分布和其它具有相同均值、方差的概率分布相比，具有最大熵

前三个性质说明了正态分布一旦形成,就容易保持该形态的稳定， Landon 对于正态分布的推导也表明了， 正态分布可以吞噬较小的干扰而继续保持形态稳定。后两个性质则说明， 其它的概率分布在各种的操作之下容易越来越靠近正态分布。 正态分布具有最大熵的性质，所以任何一个对指定概率分布的操作， 如果该操作保持方差的大小，却减少已知的知识，则该操作不可避免的增加概率分布的信息熵， 这将导致概率分布向正态分布靠近。

正由于正态分布多种的稳定性质，使得它像一个黑洞一样处于一个中心的位置， 其它的概率分布形式在各种操作之下都逐渐向正态分布靠拢，Jaynes 把它描述为概率分布中重力现象(gravitating phenomenon)。

我们在实践中为何总是选择使用正态分布呢，正态分布在自然界中的频繁出现只是原因之一。Jaynes 认为还有一个重要的原因 是正态分布的最大熵性质。在很多时候我们其实没有任何的知识知道数据的真实分布是什么， 但是一个分布的均值和方差往往是相对稳定的。因此我们能从数据中获取到的比较好的知识就是均值和方差， 除此之外没有其它更加有用的信息量。因此按照最大熵的原理，我们应该选择在给定的知识的限制下，选择熵最大的 概率分布，而这就恰好是正态分布。即便数据的真实分布不是正态分布，由于我们对真实分布 一无所知，如果数据不能有效提供除了均值和方差之外的更多的知识，那这时候正态分布就是最佳的选择。

当然正态分布还有更多令人着迷的数学性质，我们可以欣赏一下:

• 二项分布 B(n,p)B(n,p) 在 nn很大逼近正态分布 N(np,np(1−p))N(np,np(1−p))
• 泊松分布 Poisson(λ)Poisson(λ) 在 λλ 较大时逼近正态分布 N(λ,λ)N(λ,λ)
• χ2(n)χ(n)2在 nn很大的时候接近正态分布 N(n,2n)N(n,2n)
• tt分布在 nn 很大时接近标准正态分布 N(0,1)N(0,1)
• 正态分布的共轭分布还是正态分布
• 几乎所有的极大似然估计在样本量nn增大的时候都趋近于正态分布
• Cramer 分解定理(之前介绍过)：如果 X,YX,Y 是独立的随机变量，且 S=X+YS=X+Y 是正态分布，那么 X,YX,Y 也是正态分布
• 如果 X,YX,Y 独立且满足正态分布N(μ,σ2)N(μ,σ2), 那么 X+YX+Y, X−YX−Y 独立且同分布，而正态分布是唯一满足这一性质的概率分布
• 对于两个正态分布X,YX,Y, 如果X,YX,Y 不相关则意味着X,YX,Y独立，而正态分布是唯一满足这一性质的概率分布