1、正态分布的前世今生正态分布的前世今生(六)正态分布的近代发展时间:2012-11-13 22:10来源:我爱自然语言处理 作者:rickjin 围观:646次【编者注】几乎所有的经济模型都有假设前提，学过计量经济学的同学都知道古典假设，而正态分布又在假设中占有十分重要的作用，小编偶然间在我爱自然语嫣处理这个博客中发现了正态分布前世今生的系列文章，文章以名人、故事为主线简单的描述了正态分布的前世今生，这里特推荐给大家。 花开两朵，各表一枝。上面说了围绕正态分布在概率论中的发展，现在来看看正态分布在数理统计学中发展的故事。 这个故事的领衔主演是 Adolphe Quetelet和高尔顿(Galto
2、n)。 由于高斯的工作，正态分布在误差分析迅速确定了自己的定位，有了这么好的工具，我们可能拍脑袋就认为，正态分布很快 就被人们用来分析其它的数据，然而事实却出乎我们的意料，正态分布进入社会领域和自然科学领域，可是经过一番周折的。 首先我要告诉大家一个事实：误差分析和统计学是两个风马牛不相及的两个学科。 当然这个事实存在的时间是19世纪初之前。统计学的产生最初是与“编制国情报告”有关，主要服务于政府部门。 统计学面对的是统计数据，是对多个不同对象的测量；而误差分析研究的是观测数据， 是对同一个对象的多次测量。因此观测数据和 统计数据在当时被认为两种不同行为获取得到的数据，适用于观测数据的规律未必
3、适用于统计数据。 19世纪的统计数据分析处于一个很落后的状态，和概率论没有多少结合。 而概率论的产生主要和赌博相关，发展过程中与误差分析紧密联系， 而与当时的统计学交集非常小。将统计学与概率论真正结合起来推动数理统计学发展的便是我们的统计学巨星Quetelet。 Quetelet这名字或许不如其它数学家那么响亮，估计很多人不熟悉，所以有必要介绍一下。 Quetelet是比利时人，数学博士毕业，年轻的时候曾追谁拉普拉斯学习过概率论。 此人学识渊博，涉猎广泛，脑门上的桂冠包括统计学家、数学家、天文学家、社会学家、 国际统计会议之父、近代统计学之父、数理统计学派创始人。 Quetelet 的最大的贡
4、献就是将法国的古典概率引入统计学，用纯数学的方法对社会现象进行研究。 1831年，Quetelet参与主持新建比利时统计总局的工作。他开始从事有关人口问题的统计学研究。 在这种研究中，Quetelet发现,以往被人们认为杂乱无章的、偶然性占统治地位的社会现象， 如同自然现象一样也具有一定的规律性。 Quetelet 搜集了大量关于人体生理测量的数据，如体重、身高与胸围等，并使用概率统计方法来 对数据进行数据分析。但是当时的统计分析方法遭到了社会学家的质疑， 社会学家们的反对意见主要在于：社会问题 与科学实验不同，其数据一般由观察得到，无法控制且经常不了解其异质因素，这样数据 的同质性连带其分析
5、结果往往就有了问题，于是社会统计工作者就面临一个如何判 断数据同质性的问题。Quetelet大胆地提出：把一批数据是否能很好地拟合正态分布，作为判断该批数据同质的依据。 Quetelet提出了一个使用正态曲线拟合数据的方法，并广泛的使用正态分布去拟合各种类型的数据。 由此， Quetelet为正态分布的应用拓展了广阔的舞台。 正态分布如同一把屠龙刀，在Quetelet 的带领下，学者们挥舞着这把宝刀在各个领域披荆斩棘， 攻陷了人口、领土、政治、农业、工业、商业、道德等社会领域， 并进一步攻占天文学、数学、物理学、生物学、社会统计学及气象学等自然科学领域。 正态分布的下一个推动力来自生物学家高尔
6、顿，当正态分布与生物学联姻时，近代统计学迎来了一次大发展。 高尔顿是生物统计学派的奠基人，他的表哥达尔文的巨著物种起源问世以后，触动他用统计方法研究遗传进化问题。 受Quetelet的启发，他对正态分布怀有浓厚的兴趣，开始使用正态分布去拟合人的身高、胸围、以至考试成绩等各类数据， 发现正态分布拟合得非常好。他因此相信正态曲线是适用于无数情况的一般法则。 然而，对高尔顿而言，这个无处不在的正态性给他带来一些困惑。他考察了亲子两代的身高数据， 发现遵从同一的正态分布，遗传作为一个显著因素是如何发挥作用的？1877年， 高尔顿设计了一个 叫高尔顿钉板(quincunx, 或者Galton board
7、)的装置，模拟正态分布的性质用于解释遗传现象。 如下图中每一点表示钉在板上的一颗钉子，它们彼此的距离均相等。 当小圆球向下降落过程中，碰到钉子后皆以1/2的概率向左或向右滚下。 如果有n 排钉子，则各槽内最终球的个数服从二项分布 B(n,1/2) , 当n 较大的时候，接近正态分布。高尔顿钉板 设想在此装置的中间某个地方 AB 设一个挡板把小球截住，小球将在AB处聚成正态曲线形状，如果挡板上 有许多阀门，打开一些阀门，则在底部形成多个大小不一的正态分布，而最终的大正态分布正式这些小 正态分布的混合。高尔顿钉板解释遗传现象 高尔顿利用这个装置创造性的把正态分布的性质用于解释遗传现象。 他解释说身
8、高受到显著因素和其它较小因素的影响，每个因素的影响可以表达为 一个正态分布。遗传作为一个显著因素，类似图中底部大小不一的正态分布中的比较大的正态分布， 而多个大小不一正态分布累加之后其结果任然得到一个正态分布。 高尔顿在研究身高的遗传效应的时候，同时发现一个奇特的现象：高个子父母的子女，其身高有 低于其父母身高的趋势，而矮个子父母的子女，其身高有高于其父母的趋势，即有“回归”到普通人平均身高 去的趋势，这也是“回归”一词最早的含义。高尔顿用二维正态分布去拟合父代和子代身高的数据， 同时引进了回归直线、相关系数的概念，从而开创了回归分析这门技术。 可以说，高尔顿是用统计方法研究生物学的第一人，他
9、用实际行动开拓了Quetelet的思想； 为数理统计学的产生奠定了基础。 无论是 Quetelet 还是高尔顿，他们的统计分析工作都是以正态分布为中心的， 在他们的影响下，正态分布获得了普遍认可和广泛应用，甚至是被滥用， 以至有些学者认为19世纪是正态分布在统计学中占统治地位的时代。 数理统计三剑客 最后，我们来到了20世纪，正态分布的命运如何呢？ 如果说19世纪是正态分布在统计学中独领风骚的话，20世纪则是数理统计学蓬勃发展、百花齐放的时代。 1901年，高尔顿和他的学生卡尔.皮尔逊(Karl Pearson)、韦尔登（W.F.R Weldon) 创办生物计量(Biometrika)杂志，成
10、为生物统计学派的一面旗帜，引导了现代数理统计学的大发展。 统计学的重心逐渐由欧洲大陆向英国转移，使英国在以后几十年数理统计学发展的黄金时代充当了领头羊。 在20世纪以前，统计学所处理的数据一般都是大量的、自然采集的，所用的方法以 拉普拉斯中心极限定理为依据，总是归结到正态。到了19世纪末期，数据与正态拟合不好的情况也日渐为人们所注意： 进入20世纪之后，人工试验条件下所得数据的统计分析问题，日渐被人们所重视。 由于试验数据量有限，那种依赖于近似正态分布的传统方法开始招致质疑，这促使人们研 究这种情况下正确的统计方法问题 在这个背景之下，统计学三大分布 2 分布、t 分布、F 分布逐步登上历史舞
11、台。 这三大分布现在的理科本科生都很熟悉。在历史上，这三个分布和来自英国的现代数理 统计学的三大剑客有着密切的关系。 第一位剑客就是卡尔.皮尔逊(Karl Pearson)，手中的宝剑就是 2 分布。 2 分布这把宝剑最早的锻造者其实是物理学家麦克斯韦， 他在推导空气分子的运动速度的分布的时候，发现分子速度在三个坐标轴上的分量是正态分布， 而分子运动速度的平方v 2 符合自由度为3的 2 分布。麦克斯韦虽然造出了这把宝剑， 但是真正把它挥舞得得心应手、游刃有余的是皮尔逊。在分布曲线 和数据的拟合优度检验中， 2 分布可是一个利器，而皮尔逊的这个工作被认为是假设检验的开山之作。 皮尔逊继承了高尔
12、顿的衣钵，统计功力深厚，在19世纪末20世纪初很长的一段时间里，一直被数理统计武林 人士尊为德高望重的第一大剑客。 第二位剑客是戈塞特(Gosset)，笔名是大家都熟悉的学生氏(Student)，而他手中的宝剑是t 分布。戈塞特是化学、数学双学位，依靠自己的化学知识进酿酒厂工作， 工作期间考虑酿酒配方实验中的统计学问题，追谁卡尔.皮尔逊学习了一年的统计学， 最终依靠自己的数学知识打造出了t 分布这把利剑而青史留名。 1908年，戈塞特提出了正态样本中样本均值和标准差的比值的分布， 并给出了应用上及其重要的第一个分布表。戈塞特在t 分布的工作是开创了小样本统计学的先河。 第三位剑客是费希尔(R.
13、A.Fisher)，手持F 分布这把宝剑，在一片荒芜中开拓出方差分析的肥沃土地。 F 分布就是为了纪念费希尔而用他的名字首字母命名的。 费希尔剑法飘逸，在三位剑客中当属费希尔的天赋最高，各种兵器的使用都得心应手。 费希尔统计造诣极高，受高斯的启发，系统的创立了极大似然估计剑法，这套剑法现在被尊为 统计学参数估计中的第一剑法。 费希尔还未出道，皮尔逊已经是统计学的武林盟主了，两人岁数相差了33岁，而戈塞特介于他们中间。 三人在统计学擂台上难免切磋剑术。费希尔天赋极高，年少气盛；而皮尔逊为人强势， 占着自己武林盟主的地位，难免固执己见，以大欺小；费希尔着实受了皮尔逊不少气。 而戈塞特性格温和，经常
14、在两人之间调和。毕竟是长江后浪推前浪，一代新人换旧人， 在众多擂台比试中，费希尔都技高一筹，而最终取代了皮尔逊成为数理统计学第一大剑客。 由于这三大剑客和统计三大分布的出现，正态分布在数理统计学中不再是一枝独秀， 数理统计的领地基本上是被这三大分布抢走了半壁江山。不过这对正态分布而言并非坏事，我们细看这三大分布的数学细节: 假设独立随机变量 X i N(0,1),Y j N(0,1)(i=1n,j=1m) ，则满足 三大分布的随机变量可以如下构造出来 你看这三大分布哪一个不是正态分布的嫡系血脉，没有正态分布就生不出 2 分布、t 分布、F 分布。所以正态 分布在19世纪是武则天，进入二十世纪就
15、学了慈禧太后，垂帘听政了。 或者，换个角度说，一个好汉三个帮，正态分布如果是孤家寡人恐怕也难以雄霸天下， 有了统计学三大分布作为开国先锋为它开疆拓土，正态分布真正成为傲世群雄的君王。 20世纪初，统计学这三大剑客成为了现代数理统计学的奠基人。以哥塞特为先驱，费歇尔为主将， 掀起了小样本理论的革命，事实上提升了正态分布在统计学中的地位。 在数理统计学中，除了以正态分布为基础的小样本理论获得了空前的胜利，其它分布上都没有成功的案例， 这不能不让人对正态分布刮目相看。在随后的发展中，相关回归分析、多元分析、方差分析、因子分析、 布朗运动、高斯过程等等诸多统计分析方法陆续登上了历史舞台， 而这些和正态
16、分布密切相关的方法，成为推动现代统计学飞速发展的一个强大动力。Via：我爱自然语言处理正态分布的前世今生(五)正态分布的进一步发展时间:2012-11-13 17:33来源:我爱自然语言处理 作者:rickjin 围观:511次 【编者注】几乎所有的经济模型都有假设前提，学过计量经济学的同学都知道古典假设，而正态分布又在假设中占有十分重要的作用，小编偶然间在我爱自然语嫣处理这个博客中发现了正态分布前世今生的系列文章，文章以名人、故事为主线简单的描述了正态分布的前世今生，这里特推荐给大家。 19世纪初，随着拉普拉斯中心极限定理的建立与高斯正态误差理论的问世，正态分布开始崭露头角， 逐步在近代概率
17、论和数理统计学中大放异彩。在概率论中，由于拉普拉斯的推动，中心极限定理发展 成为现代概率论的一块基石。而在数理统计学中，在高斯的大力提倡之下，正态分布开始逐步畅行于天下。1. 论剑中心极限定理先来说说正态分布在概率论中的地位，这个主要是由于中心极限定理的影响。 1776 年，拉普拉斯开始考虑一个天文学中的彗星轨道的倾角的计算问题，最终的问题涉及 独立随机变量求和的概率计算，也就是计算如下的概率值在这个问题的处理上，拉普拉斯充分展示了其深厚的数学分析功底和高超的概率计算技巧，他首次引入了 特征函数(也就是对概率密度函数做傅立叶变换)来处理概率分布的神妙方法，而这一方法经过几代概率学家的发展， 在
18、现代概率论里面占有极其重要的位置。基于这一分析方法，拉普拉斯通过近似计算， 在他的1812年发表的名著概率分析理论中给出了中心极限定理的一般描述：定理 Laplace, 1812 假设 ei(i=1,n) 为独立同分布的测量误差， 具有均值 和方差 2。如果 1,2 为常数，a0, 则有理科专业的本科生学习概率论与数理统计这门课程的时候， 除了学习棣莫弗-拉普拉斯中心极限定理，通常还学习如下中心极限定理的一般形式：Lindeberg-Levy 中心极限定理 设X1,Xn 独立同分布，且具有有限的均值 和方差 2 ， 则在 n 时,有 多么奇妙的性质，随意的一个概率分布中生成的随机变量， 在序列
19、和(或者等价的求算术平均)的操作之下，表现出如此一致的行为，统一的规约到正态分布。 概率学家们进一步的研究结果更加令人惊讶，序列求和最终要导出正态分布的条件并不需要这么苛刻， 即便X1,Xn 并不独立，也不具有相同的概率分布形式，很多时候他们求和的最终的归宿仍然是正态分布。 一切的纷繁芜杂都在神秘的正态曲线下被消解，这不禁令人浮想联翩。 中心极限定理恐怕是概率论中最具有宗教神秘色彩的定理，如果有一位牧师拿着 一本圣经向我证明上帝的存在，我是丝毫不会买账；可是如果他向我展示中心极限定理并且声称那是神迹， 我会很乐意倾听他的布道。如果我能坐着时光机穿越到一个原始部落中，我也一定带上中心极限定理，并
20、 劝说部落的酋长把正态分布作为他们的图腾。 中心极限定理虽然表述形式简洁，但是严格证明它却非常困难。 中心极限定理就像一张大蜘蛛网，棣莫弗和拉普拉斯编织了它的雏形，可是这张网上漏洞太多，一个多世纪来， 数学家们就像蜘蛛一样前赴后继，努力想把所有的漏洞都补上。 在十九世纪，珀松(Poission)、狄利克莱(Dirichlet)、柯西(Cauchy)、贝塞尔(Bessel)这些大蜘蛛 都曾经试图对把这张网上的漏洞补上。从现代概率论来看角度， 整个十九世纪的经典概率理论并没有能输出一个一般意义下严格的证明。 而真正把漏洞补上的是来自俄罗斯的几位蜘蛛侠：切比雪夫(Chebyshev)、马尔可夫(Ma
21、rkov)和李雅普诺夫(Lyapunov)。 俄罗斯是一个具有优秀的数学传统的民族，产生过几位顶尖的的数学家，在现代概率论的发展中， 俄罗斯的圣彼得堡学派可以算是顶了半边天。 把漏洞补上的严格方案的雏形是从切比雪夫1887年的工作开始的，不过切比雪夫的证明存在一些漏洞。 马尔可夫和李雅普诺夫都是切比雪夫的学生，马尔科夫沿着老师的基于矩法的思路在蜘蛛网上辛勤编织，但洞还是补得不够严实； 李雅普诺夫不像马尔可夫那样深受老师的影响，他沿着拉普拉斯当年提出的基于特征函数的思路，于1901年给出了一个补洞的方法， 切比雪夫对这个方法大加赞赏，李雅普诺夫的证明被认为是第一个在一般条件下的严格证明； 而马尔
22、科夫也不甘示弱，在1913年基于矩法也把洞给补严实了。 20世纪初期到中期，中心极限定理的研究几乎吸引了所有的概率学家，这个定理俨然成为了概率论的明珠，成为了各大概率论 武林高手华山论剑的场所。不知道大家对中心极限定理中的“中心”一词如何理解，许多人都认为中心这个词描述的是这个定理的 行为：以正态分布为中心。这个解释看起来确实合情合理，不过并不符合该定理被冠名的历史。 事实上，20世纪初概率学家大都称呼该定理为极限定理(Limit Theorem)，由于该定理在概率论中 处于如此重要的中心位置，如此之多的概率学武林高手为它魂牵梦绕， 于是数学家波利亚(Polya)于1920年在该定理前面冠以中
23、心一词，由此后续人们都称之为中心极限定理。论剑中心极限定理 数学家们总是及其严谨苛刻的，给定了一个条件下严格证明了中心极限定理。数学家就开始 探寻中心极限定理成立的各种条件，询问这个条件是否充分必要条件，并且进一步追问序列和在该条件下以 什么样的速度收敛到正态分布。 1922年 Lindeberg 基于一个比较宽泛容易满足的条件，给中心极限定理提出了一个很容易理解的初等证明。 这个条件我们现在称之为Lindeberg 条件。然后概率学家 Feller 和 Levy 就开始追问Lindeberg 条件是充分必要的吗？ 基于 Lindeberg 的工作， Feller 和 Levy 都于 1935
24、 年独立的得到了中心极限定理成立的充分必要条件， 这个条件可以用直观的非数学语言描述如下：中心极限定理充要条件 假设独立随机变量序列 Xi 的中值为0, 要使序列和 S=ni=1Xi 的分布函数逼近正态分布，以下条件是充分必要的:1 如果 Xi相对于序列和S的散布(也就是标准差)是不可忽略的，则 Xi 的分布必须接近正态分布2 对于所有可忽略的 Xi, 取绝对值最大的那一项，相对于可忽略项这个子序列和的散布，这个绝对值也是可忽略的 事实上这个充分必要条件发现的优先权，Feller 和 Levy 之间还出现了一定的争论。 在 Levy 证明这个充分必要条件的过程中， Levy发现了正态分布的一个
25、有趣的性质。 我们在数理统计中都学过，如果两个独立随机变量 X,Y 具有正态分布，则S=X+Y 也具有正态分布。奇妙的是这个定理的逆定理也成立：正态分布的血统 如果 X,Y 是独立的随机变量，且 S=X+Y 是正态分布，那么 X,Y 也是正态分布。 正态分布真是很奇妙，就像蚯蚓一样具有再生的性质，你把它一刀两断，它生成两个正态分布； 或者说正态分布具有及其高贵的优良血统，正态分布的组成成分中只能包含正态分布，而不可能含有其它杂质。 1928 年 Levy 就猜到了这个定理，并使用这个定理于1935年对中心极限定理的充分必要条件作了证明。 但是 Levy 却无法证明正态分布的这个看上去及其简单的
26、再生性质。直到 1936 年 Cramer 才给出了证明。 中心极限定理成为了现代概率论中首屈一指的定理，事实上中心极限定理在现代概率论里面已经不是指一个定理， 而是指一系列相关的定理。 统计学家们也基于该定理不断的完善拉普拉斯提出的元误差理论(the hypothesis of elementary errors)， 并据此解释为何世界上正态分布如此常见。而中心极限定理同时成为了现代统计学中大样本理论的基础。via：我爱自然语言处理正态分布的前世今生(四)正态分布的各种推导时间:2012-11-13 17:20来源:我爱自然语言处理 作者:rickjin 围观:566次【编者注】几乎所有的经
27、济模型都有假设前提，学过计量经济学的同学都知道古典假设，而正态分布又在假设中占有十分重要的作用，小编偶然间在我爱自然语嫣处理这个博客中发现了正态分布前世今生的系列文章，文章以名人、故事为主线简单的描述了正态分布的前世今生，这里特推荐给大家。 在介绍正态分布的后续发展之前，我们来多讲一点数学，也许有些人会觉得枯燥，不过高斯曾经说过：“数学是上帝的语言”。所以要想更加深入的理解正态分布的美，唯有通过上帝的语言。 造物主造物的准则往往是简单明了的，只是在纷繁芜杂的万物之中，我们要发现并领会它并非易事。之前提到过，17-18世纪科学界流行的做法，是尽可能从某种简单明了的准则(first princip
28、le)出发作为我们探求的起点，而后来的数学家和物理学家们研究发现，屡次从一些给定的简单的准则出发,我们总是被引领到了正态分布的家门口，这让人感觉到正态分布的美妙。 达尔文的表弟高尔顿是生物学家兼统计学家，他对正态分布非常的推崇与赞美：”我几乎不曾见过像误差呈正态分布这么激发人们无穷想象的宇宙秩序“。当代两位伟大的概率学家 Levy 和 Kac 都曾经说过， 正态分布是他们切入概率论的初恋情人，具有无穷的魅力。如果古希腊人知道正态分布，想必奥林匹斯山的神殿里会多出一个正态女神，由她来掌管世间的混沌。 要拉下正态分布的神秘面纱展现她的美丽，需要高深的概率论知识，本人在数学方面知识浅薄，不能胜任。只
29、能在极为有限的范围内尝试掀开她的面纱的一角。棣莫弗和拉普拉斯以抛钢镚的序列求和为出发点，沿着一条小径把我们第一次领到了正态分布的家门口，这条路叫作中心极限定理，而这条路上风景秀丽，许多概率学家都为之倾倒，这条路在20世纪被概率学家们越拓越宽。而后数学家和物理学家们发现：条条曲径通正态。著名的物理学家 E.T.Jaynes 在他的名著Probability Theory, the Logic of Science(中文书名翻译为概率论沉思录)中，描绘了四条通往正态分布的小径。曲径通幽处，禅房花木深，让我们一起来欣赏一下四条小径上的风景吧。1. 高斯的推导(1809)第一条小径是高斯找到的，高斯以
30、如下准则作为小径的出发点误差分布导出的极大似然估计 = 算术平均值设真值为 , x1,xn为n次独立测量值, 每次测量的误差为ei=xi，假设误差ei的密度函数为 f(e), 则测量值的联合概率为n个误差的联合概率，记为L()=L(;x1,xn)=f(e1)f(en)=f(x1)f(xn) 为求极大似然估计，令整理后可以得到令由于高斯假设极大似然估计的解就是算术平均 x，把解带入上式，可以得到 (*) 式中取 n=2, 有由于此时有 x1x=(x2x), 并且 x1,x2 是任意的，有此得到(*) 式中再取 n=m+1, 并且要求 x1=xm=x,xm+1=mx, 则有 x=0, 并且所以得到
31、g(mx)=mg(x)而满足上式的唯一的连续函数就是 g(x)=cx, 从而进一步可以求解出由于f(x)是概率分布函数，把f(x) 正规化一下就得到正态分布函数。2. Herschel(1850)和 Maxwell(1860) 的推导第二条小径是天文学家 Hershcel 和物理学家麦克斯韦(Maxwell) 发现的。1850年，天文学家 John Herschel 在对星星的位置进行测量的时候，需要考虑二维的误差分布，为了推导这个误差的概率密度分布 f(x,y),Herschel 设置了两个准则： x 轴和 y 轴的误差是相互独立的，即误差的概率在正交的方向上相互独立 误差的概率分布在空间上
32、具有旋转对称性，即误差的概率分布和角度没有关系这两个准则对于 Herschel 考虑的实际测量问题看起来都很合理。由准则1，可以得到 f(x,y) 应该具有如下形式f(x,y)=f(x)f(y)把这个函数转换为极坐标，在极坐标下的概率密度函数设为 g(r,), 有f(x,y)=f(rcos,rsin)=g(r,)由准则2, g(r,) 具有旋转对称性，也就是应该和 无关, 所以 g(r,)=g(r),综合以上，我们可以得到取 y=0, 得到 g(x)=f(x)f(0), 所以上式变为令 则有则从这个函数方程中容易求解出 h(x)=ax2, 从而可以得到 f(x) 的一般形式如下而 f(x) 就是正态分布 而 f(x,y) 就是标准二维正态分布函数。1860 年，我们伟大的物理学家麦克斯韦在考虑气体分
