贝叶斯估计课件.ppt
- 文档编号:18908820
- 上传时间:2024-02-11
- 格式:PPT
- 页数:96
- 大小:4.96MB
贝叶斯估计课件.ppt
《贝叶斯估计课件.ppt》由会员分享,可在线阅读,更多相关《贝叶斯估计课件.ppt(96页珍藏版)》请在冰点文库上搜索。
贝贝叶叶斯斯统统计计(BayesianStatistics)(Bayes,Thomas)(17021761)贝叶斯是英国数学家贝叶斯是英国数学家.1702年生于伦敦;年生于伦敦;1761年年4月月17日日卒于坦布里奇韦尔斯卒于坦布里奇韦尔斯.贝叶斯是一位自学成才的数学家贝叶斯是一位自学成才的数学家.曾助理宗教事务,后来曾助理宗教事务,后来长期担任坦布里奇韦尔斯地方教堂的牧师长期担任坦布里奇韦尔斯地方教堂的牧师.1742年,贝叶斯被年,贝叶斯被选为英国皇家学会会员选为英国皇家学会会员.如今在概率、数理统计学中以贝叶斯姓氏命名的有贝叶斯如今在概率、数理统计学中以贝叶斯姓氏命名的有贝叶斯公式、贝叶斯风险、贝叶斯决策函数、贝叶斯决策规则、贝叶公式、贝叶斯风险、贝叶斯决策函数、贝叶斯决策规则、贝叶斯估计量、贝叶斯方法、贝叶斯统计等等斯估计量、贝叶斯方法、贝叶斯统计等等.贝叶斯方法(Bayesianapproach)贝叶斯方法是基于贝叶斯定理而发展起来用于系统地阐述和解决统计问题的方法(SamuelKotz和吴喜之,2000)。
贝叶斯推断的基本方法是将关于未知参数的先验信息与样本信息综合,再根据贝叶斯定理,得出后验信息,然后根据后验信息去推断未知参数(茆诗松和王静龙等,1998年)。
“贝叶斯提出了一种归纳推理的理论(贝叶斯定理),以后被一些统计学者发展为一种系统的统计推断方法,称为贝叶斯方法.”摘自中国大百科全书(数学卷)统计学有两个主要学派:
频率学派与贝叶斯学派.它们之间有异同,贝叶斯统计是在与经典统计的争论中发展起来,主要的争论有:
1.未知参数可否作为随机变量?
2.事件的概率是否一定的频率解释?
3.概率是否可用经验来确定?
.1.1先介绍三种信息的概念经典统计学派规定统计推断使用两种信息:
总体信息总体信息样本信息样本信息而而贝叶斯学派认为是三种信息:
总体信息总体信息样本信息样本信息先验信息先验信息第一章先验分布与后验分布总体信息总体信息即总体分布或总体所属分布族给我们的信息。
譬如,“总体是正态分布”就给我们带来很多信息:
他的密度函数是一条钟形曲线;他的一切一阶距都存在;有关正态变量(服从正态分布随机变量)的一些事件的概率可以计算;由正态分布可以导出分布,分布和分布等重要分布,还有许多成熟的点估计、区间估计和假设检验方法可供我们选用。
总体信息是很重要的信息,为了获得此信息,往往耗资巨大。
样本信息样本信息从总体中抽取的样本给我们提供的信息从总体中抽取的样本给我们提供的信息。
这是最“新鲜”的信息,并且愈多愈好。
人们希望对样本的加工和处理对总体的某些特征作出较为精确的统计推断。
没有样本就没有统计学可言。
这是大家都理解的事实。
样本信息样本信息基于上述两种信息进行的统计推断称为经典统计学,基于上述两种信息进行的统计推断称为经典统计学,它的基本观点是把数据(样本)看成是具有一定概率它的基本观点是把数据(样本)看成是具有一定概率分布的总体,所研究的对象是这个总体而不局限于数分布的总体,所研究的对象是这个总体而不局限于数据本身。
这方面最早的工作是高斯据本身。
这方面最早的工作是高斯(Gauss,C.F.17771855)和勒让德)和勒让德(Legendre,A.M.17521833)的误差分析,正态分)的误差分析,正态分布和最小二乘法。
从十九世纪末到二十世纪上半叶,布和最小二乘法。
从十九世纪末到二十世纪上半叶,经皮尔逊(经皮尔逊(Pearson,K.18571936)、费歇)、费歇(Fisher,R.A.18901962)奈曼()奈曼(Neyman.J.)等)等人的杰出工作创立了经典统计学。
随着经典统计学的人的杰出工作创立了经典统计学。
随着经典统计学的持续发展与广泛的应用,它本身的缺陷也逐渐暴露出持续发展与广泛的应用,它本身的缺陷也逐渐暴露出来了。
来了。
先验信息先验信息即在抽样之前有关统计问题的一些信息,一般说来,先验信息主要来源于经验和历史资料。
例1:
有一英国妇女,对奶茶能辨别出先倒进茶还是先倒进奶,做十次试验她都正确说出。
某学生第一次第一次看到他的数学老师,即有反应:
老师30岁到40之间,极可能35岁左右(左右可理解为正负3岁,极可能可理解为90%的可能).P(32X38)=0.90三种信息三种信息基于上述三种信息(总体信息、样本信息和先验信息)进行的统计推断被称为贝叶斯统计学。
它与经典统计学的主要差别在于是否利用先验信息。
贝叶斯统计学派把任意一个未知参数都看成贝叶斯统计学派把任意一个未知参数都看成随机变量,应用一个概率分布去描述它的未知状况,该分布称为随机变量,应用一个概率分布去描述它的未知状况,该分布称为先验分布。
先验分布。
信息处理信息处理设自然状态设自然状态有有k种,种,1,2,k,P(i)表示自然状态表示自然状态i发生的先验概率分布,发生的先验概率分布,P(xi)表示在状态表示在状态i条件,事件为条件,事件为x的概率。
的概率。
P(ix)为)为i发生的后验概率。
发生的后验概率。
全概率公式:
全概率公式:
P(x)为)为x在各种状态下可能出现在各种状态下可能出现的概率综合值。
的概率综合值。
从概率论的从概率论的Bayes公式谈起公式谈起注注:
把事件把事件i,x看为随机变量看为随机变量,上公式则为上公式则为Bayes后验分布后验分布1.2贝叶斯公式的密度函数形式1.2贝叶斯公式的密度函数形式1.2贝叶斯公式的密度函数形式贝叶斯公式的密度函数形式1.2贝叶斯公式的密度函数形式贝叶斯公式的密度函数形式1.2贝叶斯公式的密度函数形式贝叶斯公式的密度函数形式后后验分布是三种信息的分布是三种信息的综合合,先先验分布反分布反应人人们在抽在抽样前前对参数的参数的认识,后后验分布反应人们在抽样后对参数的认识验分布反应人们在抽样后对参数的认识Bayes统计推断原推断原则:
对参数所作任何推断(参数估计,假设检验等)都必须建立在后验分布基础上.1.2贝叶斯公式的密度函数形式贝叶斯公式的密度函数形式例例:
为了提高某了提高某产品品质量量,公司公司经理考理考虑投投资100万改万改进设备,下属部下属部门提出两种提出两种实施意施意见:
意见1:
改进生产设备后,高质量产品占高质量产品占90%意见2:
改进生产设备后,高质量产品占高质量产品占70%但经理根据以往两部门建议情况认为但经理根据以往两部门建议情况认为.意见意见1的可信度只的可信度只有有40%,而意见案而意见案2的可信度只有的可信度只有60%,1.2贝叶斯公式的密度函数形式贝叶斯公式的密度函数形式贝塔分布贝塔分布(betadistribution)信息验前分布信息验前分布此式在定义域上与二项分布有差别。
再计算的边缘分布此式在定义域上与二项分布有差别。
再计算的边缘分布信息验前分布信息验前分布最后可得的后验分布信息验前分信息验前分布布例Laplace在1786年研究了巴黎的男婴出生的比率,他希望检验男婴出生的概率是否大于0.5.为此,他收集到17451770年在巴黎出生的婴儿数据.其中,男婴251527个,女婴241945个,他选用U(0,1)作为的先验分布,则的后验分布服从分布:
推断推断:
男婴出生的概率大于男婴出生的概率大于0.5先验分布的选取有信息的:
已知分布类型、参数等无信息的:
最大熵、共轭分布、Bayes假设基于经验的:
利用样本确定先验分布验前信息处理验前信息处理-无信息验前分布无信息验前分布位置与尺度问题的无信息验前位置与尺度问题的无信息验前位置与尺度问题的无信息验前位置与尺度问题的无信息验前位置与尺度问题的无信息验前例位置与尺度问题的无信息验前例Jeffreys验前例验前例Jeffreys验前验前含部分信息的最大熵验前含部分信息的最大熵验前含部分信息的最大熵验前含部分信息的最大熵验前含部分信息的最大熵验前例含部分信息的最大熵验前例1含部分信息的最大熵验前例含部分信息的最大熵验前例2含部分信息的最大熵验前例含部分信息的最大熵验前例2利用边缘分布确定验前利用边缘分布确定验前利用边缘分布确定验前利用边缘分布确定验前利用边缘分布确定验前利用边缘分布确定验前利用边缘分布确定验前利用边缘分布确定验前利用矩方法确定先验分布利用矩方法确定先验分布利用矩方法确定先验分布利用矩方法确定先验分布利用矩方法确定先验分布利用矩方法确定先验分布贝叶斯公式分析基础贝叶斯公式分析基础后先验分布后先验分布:
指在给定指在给定X=x下下,参数参数的条件分布的条件分布(X,)的联合分布记为:
其中是的边缘密度函数.上两公式用来对作出推断条件分布贝叶斯公式分析基础贝叶斯公式分析基础贝叶斯公式分析基础贝叶斯公式分析基础1.3共轭分布法后验分布和先验分布是同一个类型后验分布和先验分布是同一个类型后验分布和先验分布是同一个类型后验分布和先验分布是同一个类型1.3共轭分布法定义:
定义:
设是总体分布中的参数(或参数向量),是的先验密度函数,假如由抽样信息算得的后验密度函数与有相同的密度函数形式,则称是的(自然)共轭先验分布。
应该着重指出,共轭先验分布是对某一分布中的参数而言的。
如正态均值、正态方差、泊松均值等。
离开指定参数及其所在的分布去谈论共轭先验分布是没有意义的。
正态均值(方差已知)的共轭先验分布是正态分布正态均值(方差已知)的共轭先验分布是正态分布若再记正态均值(方差已知)的共轭先验分布是正态分布正态均值(方差已知)的共轭先验分布是正态分布正态均值(方差已知)的共轭先验分布是正态分布正态均值(方差已知)的共轭先验分布是正态分布1.3共轭分布法1.3共轭分布法1.3共轭分布法1.3常用共轭先验分布常用共轭先验分布1.3共轭先验分布的优点共轭先验分布的优点第二章贝叶斯推断(BayesianInference)未知参数的后验分布是集中三种信息(总体,样本和先验)于一身,它包含了的所有可供利用的信息,所以有关的点估计,区间估计和假设检验等统计推断都按一定方式取信息,其提取方法与经典统计推断相比要简明明确得多。
条件方法条件方法:
基于后验分布的统计推断就意味着只考虑已出现的数据(样本观察值),而认为未出现的数据与推断无关,这一重要的观点被称为“条件观点”,基于这种观点提出的统计推断方法称为条件方法。
2.1条件方法条件方法:
案例案例2.2贝叶斯估计(ayesianEstimation)2.2Bayes点估计例点估计例其贝叶斯估计为:
Bayes估计Bayes估计Bayes估计由于正态分布的对称三种贝叶斯估计重合由于正态分布的对称三种贝叶斯估计重合.Bayes估计例估计例Bayes估计例估计例Bayesian分析在医学检验的应用例分析在医学检验的应用例Bayesian分析在医学检验的应用例分析在医学检验的应用例2.2.2贝叶斯估计的误差贝叶斯估计的误差设设是是的一个贝叶斯估计,在样本给定后,的一个贝叶斯估计,在样本给定后,是是一个数,在综合各种信息后,一个数,在综合各种信息后,是按是按取值,所以取值,所以评定一个贝叶斯估计的误差的最好而又简单的方式是评定一个贝叶斯估计的误差的最好而又简单的方式是用用对对的后验均方差或平方根来度量,具体定义的后验均方差或平方根来度量,具体定义如下:
如下:
设参数设参数的后验分布的后验分布,贝叶斯估计为,贝叶斯估计为,则则的后验期望的后验期望称为称为后验均方差,而其平方根后验均方差,而其平方根称为的后称为的后验标准误,其中符号验标准误,其中符号表示用条件分布表示用条件分布求期望求期望当为的后验期望时,则称为后验方差,其平方根称为后验标准差。
2.2.2后验方差与均方差后验方差与均方差Bayes估计的误差例估计的误差例例例设一批产品的不合格率为,检查是一个接一个地进行,设一批产品的不合格率为,检查是一个接一个地进行,直到出现不合格品为止,若表示第一发现不合格品的直到出现不合格品为止,若表示第一发现不合格品的已检查的产品数,显然服从几何分布,即已检查的产品数,显然服从几何分布,即2.3区间估计区间估计(IntervalEstimation)先验可信区间先验可信区间贝叶斯可信水平和可信区间与经典统计中的置信水平和置信区间的区别2在经典统计中寻求置信区间有时是困难的,因为他要构造一个轴变量(含有被估参数的随机变量),使它的分布不含有未知参数,这是一项技术性很强的工作,不熟悉“抽样分布”是很难完成的,可寻求可信区间只要利用后验分布,不需要再去寻求另外的分布,二种方法相比较,可信区间的寻求要简单的多。
可信区间可信区间可信区间可信区间案例案例假设检验(假设检验(HypothesisTest)信息检验处理信息检验处理贝叶斯统计和经典统计的比较l是否利用先验信息l对概率的不同解释频率学派坚持概率的频率解释,并在这个基础上去理解一切统计推断的结论;与此相反,贝叶斯学派赞成主观概率,概率是认识主体对事件出现可能性大小的相信程度它不依赖事件能否重复。
l具体统计理念的差异统计学奠基人费歇尔把统计学的任务概括为三个问题:
选定模型,、确定统计量和决定统计量的分布。
贝叶斯学派认为:
先验分布反映了试验前对总体参数分布的认识,在获得样本信息后,对这个认识有了改变,其结果就反映在后验分布中,即后验分布综合了先验分布和样本的信息。
经典统计学派对贝叶斯统计的批评贝叶斯方法受到了经典统计学派中一些人的批评,批评的理由主要集中在以下三点:
(1)贝叶斯方法具有很强的主观性而研究的问题需要更客观的工具。
经典统计学是“客观的”,因此符合科学的要求。
而贝叶斯统计学是“主观的”,因而(至多)只对个人决策有用。
(2)应用的局限性,特别是贝叶斯方法有许多封闭型的分析解法,不能广泛地使用。
(3)先验分布的误用。
对以上这些批评,贝叶斯学派的回答如下:
贝叶斯估计的一般步骤贝叶斯估计的一般步骤验前信息处理验前信息处理二项分布参数的估计二项分布参数的估计验前信息处理验前信息处理一线性模型参数Bayes估计的概念设Y为响应变量。
现设样本向量取自P元总体的样本。
十十.线性模型参数得线性模型参数得Bayes估计估计线性模型:
为可控向量,二线性模型参数Bayes估计的概念十十.线性模型参数的线性模型参数的Bayes估计估计对线性模型:
十十.线性模型参数得线性模型参数得Bayes估计估计十十.线性模型参数得线性模型参数得Bayes估计估计十十.线性模型参数得线性模型参数得Bayes估计估计2005年年7月份菜心品种安全系数月份菜心品种安全系数在实际试验设计中,经常会遇到这样一个问题,即:
已知一个总体分布,其中分布参数未知,需要设计在一定容量下,满足一定置信度1-a的条件的一个检验方案,对分布参数做出具体估计。
一般实验解决这一问题的方法均是在大量子样情况下统计计算获得,而现实试验通常受费用、时间条件限制,只能是在小子样下进行,这些方法并不能满足需要。
基于小子样下理论的Bayes检验方法是在保证决策风险尽可能小的情况下,尽量应用所有可能的信息,为解决这一问题提供了具体的方法和理论依据。
Bayes试验设计试验设计Bayes统计将未知分布参数视为随机变量,且具有验前分布,当获得试验样本之后,应用Bayes公式计算未知分布参数的验后密度:
在统计推断中,以(x)作为Bayes检验方法的出发点,此时未知参数的Bayes估计为:
对的置信估计,在置信度为1-a下,令(3)满足此式的(1(x),2(x)就是的置信区间估计。
2.1二点分布二点分布试验设计2.1.1容量计算设x1,x2,,xn是参数为p的两点分布的样本,且在0,1上为均匀分布,则p的先验分布密度为:
2试验容量的计算试验容量的计算利用B(n,m)函数,(n)函数算出样本的边缘分布列为:
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 贝叶斯 估计 课件