第四章-统计判别.ppt
- 文档编号:18900071
- 上传时间:2024-02-10
- 格式:PPT
- 页数:41
- 大小:941.50KB
第四章-统计判别.ppt
《第四章-统计判别.ppt》由会员分享,可在线阅读,更多相关《第四章-统计判别.ppt(41页珍藏版)》请在冰点文库上搜索。
第四章第四章统计判别统计判别随机模式分类识别,通常称为随机模式分类识别,通常称为BayesBayes(贝叶斯贝叶斯)判决判决。
(基础复习)(基础复习)第四章第四章统计判决统计判决主要依据类的概率、概密,按照主要依据类的概率、概密,按照某种准则某种准则使分使分类结果从统计上讲是最佳的。
准则函数不同,所导类结果从统计上讲是最佳的。
准则函数不同,所导出的出的判决规则判决规则就不同,分类结果也不同。
就不同,分类结果也不同。
本章主要论述分类识别的一般原理、几种重要本章主要论述分类识别的一般原理、几种重要的的准则准则和相应的和相应的判决规则判决规则,正态分布模式类的判决,正态分布模式类的判决函数以及它们的性能。
函数以及它们的性能。
BayesBayes公式:
公式:
设实验设实验EE的样本空间为的样本空间为SS,AA为为EE的事件,的事件,BB11,B,B22,BBnn为为SS的一个划分,且的一个划分,且PP(A)0(A)0,PP(B(Bii)0)0,(i=1,2,(i=1,2,n),n),则,则:
“概率论概率论”有关概念复习有关概念复习条件概率条件概率“概率论概率论”有关概念复习有关概念复习先验概率:
先验概率:
P(i)表示类表示类i出现的先验概率,简称类出现的先验概率,简称类i的概率。
的概率。
后验概率:
后验概率:
PP(ii|x|x)表示表示xx出现条件下类出现条件下类ii出现的概率出现的概率,称其为称其为类别的类别的后验概率后验概率,对于模式识别来讲可理解为,对于模式识别来讲可理解为xx来自类来自类ii的的概率。
概率。
类概密:
类概密:
p(x|(x|ii)表示在类表示在类ii条件下的概率密度,即类条件下的概率密度,即类ii模模式式xx的概率分布密度,简称为的概率分布密度,简称为类概密类概密。
对于两类对于两类11,22问题,直观地,可以根据后验概率做判决:
问题,直观地,可以根据后验概率做判决:
式中,式中,pp(x|(x|ii)又称又称似然函数似然函数(likelihoodfunctionof(likelihoodfunctionofclassclassii),可由已知样本求得。
,可由已知样本求得。
Bayes法则最大后验概率准则法则最大后验概率准则根据根据Bayes公式,后验概率公式,后验概率可由类可由类i的先验概率的先验概率P(i)和条件概率密度和条件概率密度来表示,即来表示,即将将P(i|x)代入判别式,判别规则可表示为代入判别式,判别规则可表示为或改写为或改写为l12称为称为似然比似然比(likelihoodratio),),12称为似然比的判决阀值。
称为似然比的判决阀值。
原则:
要确定原则:
要确定xx是属于是属于11类还是类还是22类,要看类,要看xx是来自于是来自于11类的概率大还是来自类的概率大还是来自22类的概率大。
类的概率大。
已知:
已知:
(统计结果)(统计结果)先验概率:
先验概率:
P(11)=1/3)=1/3(鲈鱼出现的概率)(鲈鱼出现的概率)P(22)=1-)=1-P(11)=2/3)=2/3(鲑鱼出现的概率鲑鱼出现的概率)条件概率条件概率:
p(x|11)见图示见图示(鲈鱼的长度特征分布概率)(鲈鱼的长度特征分布概率)p(x|22)见图示见图示(鲑鱼的长度特征分布概率)(鲑鱼的长度特征分布概率)求:
后验概率求:
后验概率:
P(|x=10)=?
(如果一条鱼如果一条鱼xx1010,是什么类别?
),是什么类别?
)解法解法11:
利用利用Bayes公式公式写成似然比形式写成似然比形式解法解法2:
例题例题11图示图示鲈鱼鲈鱼鲑鱼鲑鱼100.050.55.58.5例题例题11图示图示10l最小误判概率准则判决最小误判概率准则判决l最小损失准则判决最小损失准则判决l最小最大损失准则最小最大损失准则lN-N-P(NeymanP(NeymanPearson)Pearson)判决判决第四章第四章统计判决统计判决4141最小误判概率准则判决最小误判概率准则判决第四章第四章统计判决统计判决图例:
最小误判概率准则图例:
最小误判概率准则最小误判概率准则下的判决规则:
最小误判概率准则下的判决规则:
如果,如果,则判则判或等价地,或等价地,如果,如果,则判则判另一个等价形式是:
另一个等价形式是:
如果如果则判则判由贝叶斯定理由贝叶斯定理4.24.2最小损失准则判决最小损失准则判决第四章第四章统计判决统计判决最小错误率最小损失率合格药品与不合格药品分类4.2.1损失概念、损失函数与平均损失设模式空间中存在设模式空间中存在cc个类别个类别:
决策空间由决策空间由aa个决策个决策:
决策决策jj常指将模式常指将模式xx指判为某一类指判为某一类wwjj或者是拒判。
或者是拒判。
对一个实属对一个实属ii类的模式采用了决策类的模式采用了决策jj所造成的损失所造成的损失记为:
记为:
于是就有于是就有空间中的二元函数,称其为空间中的二元函数,称其为损失函数损失函数。
决策-损失表n决策决策jj指将模式指将模式xx指判为指判为wwjj或者是拒判。
或者是拒判。
0-10-1损失函数损失函数令决策的数目令决策的数目aa等于类数等于类数cc,如果决策,如果决策jj定义为判定义为判属于属于jj类,类,那么对于给定的模式那么对于给定的模式在采取决策在采取决策jj的条件下损失的期望为的条件下损失的期望为条件平均风险条件期望损失条件期望损失刻划了在模式为刻划了在模式为、决策为、决策为jj条条件下的平均损失,故也称件下的平均损失,故也称为为条件平均损失或条条件平均损失或条件平均风险(件平均风险(RiskRisk)。
由贝叶斯公式,上式可以写为。
由贝叶斯公式,上式可以写为求上式求上式Rj(x)关于关于x的数学期望的数学期望:
平平均均损损失失l可以将最小条件平均损失判决规则表示为可以将最小条件平均损失判决规则表示为如果如果则判则判4.2.2最小损失准则判决定理:
定理:
使条件平均损失最小的判决也必然使总的平均使条件平均损失最小的判决也必然使总的平均损失最小。
损失最小。
所以最小条件平均损失准则也称为最小平均损失所以最小条件平均损失准则也称为最小平均损失准则或最小平均风险准则,简称为准则或最小平均风险准则,简称为最小损失准则最小损失准则。
对于两类问题,对于两类问题,如果如果则:
则:
这时最小损失判决规则这时最小损失判决规则可以表为:
可以表为:
经整理可得:
经整理可得:
两类问题的最小损失准则的似然比形式的判决规两类问题的最小损失准则的似然比形式的判决规则为:
则为:
如果如果则判则判若记似然比阈值若记似然比阈值注意,若注意,若我们规定任判或拒判。
我们规定任判或拒判。
则两类问题的判决规则为:
则两类问题的判决规则为:
如果如果则判:
则判:
如果如果则判:
则判:
损失函数如何确定依赖于实际问题和经验,有时损失函数如何确定依赖于实际问题和经验,有时为了方便,对于一般的为了方便,对于一般的类问题,令类问题,令(0-10-1损失函数)损失函数)此时:
此时:
此即为最小误判概此即为最小误判概率准则的判决规则率准则的判决规则取取0-10-1损失函数时,最小损失准则等价于最小损失函数时,最小损失准则等价于最小误判概率准则,此时的平均损失就是误判概率,误判概率准则,此时的平均损失就是误判概率,使平均损失最小即使误判概率最小。
这也表明,使平均损失最小即使误判概率最小。
这也表明,最小误判概率准则是最小损失准则的特例。
最小误判概率准则是最小损失准则的特例。
4.2.3含拒绝判决的最小损失判决拒绝判决可以作为最小损失判决中的一个可能判决,拒绝判决可以作为最小损失判决中的一个可能判决,“拒绝判决拒绝判决”。
如果如果jj=1,2,=1,2,cc则作出拒绝判决。
则作出拒绝判决。
设设(c+1c+1()|ii)=)=rr,(ii=1,2,=1,2,c),c),(即各类的拒判损失相同)(即各类的拒判损失相同)则则又设又设(jj()|ii)=)=ee,(jjii,ii,jj=1,2,=1,2,c),c),(即各误判损失相同)(即各误判损失相同)(即各正确判决损失相同)(即各正确判决损失相同)(ii()|ii)=)=cc,(ii=1,2,=1,2,c),c),且通常有且通常有ccrree如果如果,(j=1,2,c),则对做拒绝判决。
做拒绝判决。
=1-t这里这里称之称之为拒判拒判门限。
限。
因因为cr1-1/c时时,1-t1/c,上式恒成立上式恒成立,不存在拒判问题不存在拒判问题,即存在拒判决策的条件应该是即存在拒判决策的条件应该是:
t1-1/c判决规则判决规则如下:
如下:
如果如果则判则判如果如果则判则判最小误判概率准则最小误判概率准则最小损失准则最小损失准则拒判拒判拒拒绝绝判判决决的的最最小小损损失失
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 第四 统计 判别