研究生模式识别期末试题.docx
- 文档编号:16089245
- 上传时间:2023-07-10
- 格式:DOCX
- 页数:20
- 大小:75.15KB
研究生模式识别期末试题.docx
《研究生模式识别期末试题.docx》由会员分享,可在线阅读,更多相关《研究生模式识别期末试题.docx(20页珍藏版)》请在冰点文库上搜索。
研究生模式识别期末试题
大学2008—2009学年上学期研究生期末试题
课程名称:
模式识别任课教师:
梁虹
:
学号:
专业:
一.分别说明用统计决策法和句法方法进行模式识别的一般过程,并比较两种方法各有什么特点。
(10分)
答:
(1)统计决策法:
特点:
基于模式的定量描述与统计规律的识别方法,是模式识别最经典、最成熟的方法,目前广泛应用于模式识别。
原理:
样本→观测值→特征→概率统计→决策准则→分类
过程:
学习样本→数据获取→预处理→特征提取→统计分析→分类准则
↙
待识样本→数据获取→预处理→特征提取→识别分类→分类结果
(2)句法方法:
特点:
基于模式的空间结构特征的定性描述与形式语言学的方法,广泛应用于字符识别、图像识别等领域。
原理:
样本→基元→字符串→形式语言→文法→分类
过程:
学习样本→数据获取→预处理→基元提取→文法推断→文法
↙
待识样本→数据获取→预处理→基元提取→句法分析→分类结果
二.设两类模式是线性可分的,其线性判别函数为:
g(x)=wtx+w0
其中特征向量x=[x1,x2,x3,……,xn]t,
权向量w=[w1,w2,w3,……,wn]t
试分别说明线性判别函数中权向量w,阀值w0与g(x)在n维特征空间的几何意义。
两类模式的判别界满足什么条件?
(10分)
答:
(1)权向量W的几何意义为权向量方向,与判别界(即g(x)=0)上任一向量正交,即W决定了判别界的方向。
(2)阀值W0的几何意义为原点到判别界的距离。
若W0>0,则原点位于判别界的正面;反之,位于反面。
(3)判别函数g(x)的几何意义为一点X到判别面的距离。
若X在判别面的正面,则g(x)>0,若X在判别面的反面,则g(x)<0,判别界上g(x)=0。
对于原点x=0,则g(x)=g(0)=W0。
(4)两类模式的判别界应满足的条件:
在n维空间中,可以用线性判别界将待识别样本进行正确分类。
待识别样本在判别面的一侧都属于模式一;反之属于模式二。
三.请分别说明基于最小错误概率和基于最小风险的Bayes决策方法的基本原理,两种方法有何联系?
(10分)
答:
(1)最小错误概率:
若P(Wi/X)=MAX{P(Wj/X)},j=1,2,……c,则判X属于Wi类。
(2)最小风险:
若Ri(X)=MIN{Rj(X)},j=1,2,……c,则判X属于Wi类。
(3)联系:
(0-1)损失条件下,两者是等价的。
四.已知学习样本的数据如下表所示,设各类样本均服从正态分布,请分别编写程序解决下列问题:
(共20分)
(1)求解表中各类样本的最大似然估计
和
。
(2)计算样本
到各类样本的马氏(Mahalanobis)距离。
(3)若
,根据Bayes决策理论,求出各类的判别函数
,并对样本
,
,
和
进行分类。
样本序号
1
-5.01
-8.12
-3.68
-0.91
-0.18
-0.05
5.35
2.26
8.13
2
-5.43
-3.48
-3.54
1.30
-2.06
-3.53
5.12
3.22
-2.66
3
1.08
-5.52
1.66
-7.75
-4.54
-0.95
-1.34
-5.31
-9.87
4
0.86
-3.78
-4.11
-5.47
0.50
3.92
4.48
3.42
5.19
5
-2.67
0.63
7.39
6.14
5.72
-4.85
7.11
2.39
9.21
6
4.94
3.29
2.08
3.60
1.26
4.36
7.17
4.33
-0.98
7
-2.51
2.09
-2.59
5.37
-4.63
-3.65
5.75
3.97
6.65
8
-2.25
-2.13
-6.94
7.18
1.46
-6.66
0.77
0.27
2.41
9
5.56
2.86
-2.26
-7.39
1.17
6.30
0.90
-0.43
-8.71
10
1.03
-3.33
4.33
-7.50
-6.32
-0.31
3.52
-0.36
6.43
解:
(一)%
(1)求W1类的均值向量和协方差矩阵
u1x1=(-5.01-5.34+1.08+0.86-2.67+4.94-2.51-2.25+5.56+1.03)/10
u1x2=(-8.12-3.48-5.52-3.78+0.63+3.29+2.09-2.13+2.86-3.33)/10
u1x3=(-3.68-3.54+1.66-4.11+7.39+2.08-2.59-6.94-2.26+4.33)/10
u1=[u1x1;u1x2;u1x3]
%计算结果如下:
%u1=第一类样本的均值向量
%[-0.4310
%-1.7490
%-0.7660]
%求协方差矩阵
x11=-5.01,x21=-8.12,x31=-3.68;
yb1=[x11;x21;x31];%第一个样本值
jz1=[yb1-u1]*[yb1-u1]'%第一个样本的协方差矩阵
%jz1=
%20.967229.172813.3432
%29.172840.589618.5651
%13.343218.56518.4914
x12=-5.43,x22=-3.48,x32=-3.54;
yb2=[x12;x22;x32];
jz2=[yb2-u1]*[yb2-u1]'
%结果如下:
%jz2=
%24.99008.653313.8672
%8.65332.99644.8018
%13.86724.80187.6951
x13=1.08,x23=-5.52,x33=1.66
yb3=[x13;x23;x33];
jz3=[yb3-u1]*[yb3-u1]'
%结果如下
%jz3=
%2.2831-5.69803.6657
%-5.698014.2204-9.1484
%3.6657-9.14845.8855
x14=0.86,x24=-3.78,x34=-4.11
yb4=[x14;x24;x34];
jz4=[yb4-u1]*[yb4-u1]'
%计算结果如下:
%jz4=
%1.6667-2.6220-4.3171
%-2.62204.12506.7917
%-4.31716.791711.1823
x15=-2.67,x25=0.63,x35=7.93;
yb5=[x15;x25;x35];
jz5=[yb5-u1]*[yb5-u1]'
%结果如下:
%jz5=
%5.0131-5.3266-19.4703
%-5.32665.659620.6878
%-19.470320.687875.6204
x16=4.94,x26=3.29,x36=2.08;
yb6=[x16;x26;x36];
jz6=[yb6-u1]*[yb6-u1]'
%计算结果如下
%jz6=
%28.847627.064515.2859
%27.064525.391514.3410
%15.285914.34108.0997
x17=-2.51,x27=2.09,x37=-2.59;
yb7=[x17;x27;x37];
jz7=[yb7-u1]*[yb7-u1]'
%jz7=
%4.3222-7.98133.7921
%-7.981314.7379-7.0023
%3.7921-7.00233.3270
x18=-2.25,x28=-2.13,x38=-6.94;
yb8=[x18;x28;x38];
jz8=[yb8-u1]*[yb8-u1]'
%jz8=
%3.30880.693011.2305
%0.69300.14522.3523
%11.23052.352338.1183
x19=5.56,x29=2.86,x39=-2.26;
yb9=[x19;x29;x39];
jz9=[yb9-u1]*[yb9-u1]'
%jz9=
%35.892127.6125-8.9506
%27.612521.2429-6.8858
%-8.9506-6.88582.2320
x110=1.03,x210=-3.33,x310=4.33;
yb10=[x110;x210;x310];
jz10=[yb10-u1]*[yb10-u1]'
%jz10=
%2.1345-2.30987.4453
%-2.30982.4996-8.0568
%7.4453-8.056825.9692
%再求第一类模式W1的协方差矩阵
jz=(jz1+jz2+jz3+jz4+jz5+jz6+jz7+jz8+jz9+jz10)/10
%jz=第一类样本最终的协方差矩阵
%12.94256.92583.5892
%6.925813.16083.6446
%3.58923.644618.6621
%
(2)求W2类的均值向量和协方差矩阵,利用第一问的思想
x211=-0.91;x212=-0.18;x213=-0.05;x221=1.30,x222=-2.06,x223=-3.53;
x231=-7.75;x232=-4.54;x233=-0.95;x241=-5.47;x242=0.50;x243=3.92;
x251=6.14;x252=5.72;x253=-4.85;x261=3.60;x262=1.26;x263=4.36;
x271=5.37;x272=-4.63;x273=-3.65;x281=7.18;x282=1.46;x283=-6.66;
x291=-7.39;x292=1.17;x293=6.30;x2101=-7.50;x2102=-6.32;x2103=-0.31
u2x1=(x211+x221+x231+x241+x251+x261+x271+x281+x291+x2101)/10
u2x2=(x212+x222+x232+x242+x252+x262+x272+x282+x292+x2102)/10
u2x3=(x213+x223++x233+x243+x253+x263+x273+x283+x293+x2103)/10
u2=[u2x1;u2x2;u2x3]
%u2=第二类样本的均值向量
%[-0.5430
%-0.7620
%-0.5420]
yb1=[x211;x212;x213];%第一个样本值
jz1=[yb1-u2]*[yb1-u2]'%第一个样本的协方差矩阵
yb2=[x221;x222;x223];
jz2=[yb2-u2]*[yb2-u2]'
yb3=[x231;x232;x233];
jz3=[yb3-u2]*[yb3-u2]'
yb4=[x241;x242;x243];
jz4=[yb4-u2]*[yb4-u2]'
yb5=[x251;x252;x253];
jz5=[yb5-u2]*[yb5-u2]'
yb6=[x261;x262;x263];
jz6=[yb6-u2]*[yb6-u2]'
yb7=[x271;x272;x273];
jz7=[yb7-u2]*[yb7-u2]'
yb8=[x281;x282;x283];
jz8=[yb8-u2]*[yb8-u2]'
yb9=[x291;x292;x293];
jz9=[yb9-u2]*[yb9-u2]'
yb10=[x2101;x2102;x2103];
jz10=[yb10-u2]*[yb10-u2]'
%再求第二类模式W2的协方差矩阵
jz=(jz1+jz2+jz3+jz4+jz5+jz6+jz7+jz8+jz9+jz10)/10
%jz=第二类样本最终的协方差矩阵
%33.14648.9828-14.7301
%8.982811.85170.3681
%-14.73010.368116.5791
%(3)求W3类的均值向量和协方差矩阵,利用第二问的思想,只要把变量中的数据换成第三类中的样本值就可以了
x211=-5.35;x212=2.26;x213=8.13;x221=5.12,x222=3.22,x223=-2.66;
x231=-1.34;x232=-5.31;x233=-9.87;x241=4.48;x242=3.42;x243=5.19;
x251=7.11;x252=2.39;x253=9.21;x261=7.17;x262=4.33;x263=-0.98;
x271=5.75;x272=3.97;x273=6.65;x281=0.77;x282=0.27;x283=2.41;
x291=0.90;x292=-0.43;x293=-8.71;x2101=3.52;x2102=-0.36;x2103=6.43
u2x1=(x211+x221+x231+x241+x251+x261+x271+x281+x291+x2101)/10
u2x2=(x212+x222+x232+x242+x252+x262+x272+x282+x292+x2102)/10
u2x3=(x213+x223++x233+x243+x253+x263+x273+x283+x293+x2103)/10
u2=[u2x1;u2x2;u2x3]
%u2=第三类样本的均值向量
%[2.8130
%1.3760
%1.5800]
yb1=[x211;x212;x213];%第一个样本值
jz1=[yb1-u2]*[yb1-u2]'%第一个样本的协方差矩阵
yb2=[x221;x222;x223];
jz2=[yb2-u2]*[yb2-u2]'
yb3=[x231;x232;x233];
jz3=[yb3-u2]*[yb3-u2]'
yb4=[x241;x242;x243];
jz4=[yb4-u2]*[yb4-u2]'
yb5=[x251;x252;x253];
jz5=[yb5-u2]*[yb5-u2]'
yb6=[x261;x262;x263];
jz6=[yb6-u2]*[yb6-u2]'
yb7=[x271;x272;x273];
jz7=[yb7-u2]*[yb7-u2]'
yb8=[x281;x282;x283];
jz8=[yb8-u2]*[yb8-u2]'
yb9=[x291;x292;x293];
jz9=[yb9-u2]*[yb9-u2]'
yb10=[x2101;x2102;x2103];
jz10=[yb10-u2]*[yb10-u2]'
%再求第三类模式W2的协方差矩阵
jz=(jz1+jz2+jz3+jz4+jz5+jz6+jz7+jz8+jz9+jz10)/10
%jz=第三类样本最终的协方差矩阵
%14.63905.75464.8261
%5.75467.704410.4477
%4.826110.447742.5586
(二)x1=0.42;x2=1.71;x3=-0.98;
u11=-0.4310;u12=-1.7490;u13=-0.7660;
u21=-0.5430;u22=-0.7620;u23=-0.5420;
u31=2.8130;u32=1.3760;u33=1.5800;
x=[x1,x2,x3]';
u1=[u11,u12,u13]';%三类样本的均值向量,由第一问可知
u2=[u21,u22,u23]';
u3=[u31,u32,u33]';
jz1=[12.9425,6.9258,3.5892;
6.9258,13.1608,3.6446;
3.5892,3.6446,18.6621];%第一模式类的协方差矩阵
jz2=[33.1464,8.9828,-14.7301;
8.9828,11.8517,0.3681;
-14.7301,0.3681,16.5791];%第二模式类的协方差矩阵
jz3=[14.6390,5.7546,4.8261;
5.7546,7.7044,10.4477;
4.8261,10.4477,42.5586];
mj1=[x-u1]'*inv(jz1)*[x-u1]%样本与第一类样本的马氏距离
mj2=[x-u2]'*inv(jz2)*[x-u2]%样本与第二类样本的马氏距离
mj3=[x-u3]'*inv(jz3)*[x-u3]%样本与第三类模式的马氏距离
%计算结果如下:
%mj1=
%1.0675
%mj2=
%0.6804
%mj3=
%1.2240
(三)X1=sym('[x1;x2;x3]');
w1=1/3;w2=1/3;w3=1/3;
%X1=[1,0,0]';
g1=-1/2*log(det(jz1))-1/2*[X1-u1]'*inv(jz1)*[X1-u1]+log(w1)
g2=-1/2*log(det(jz2))-1/2*[X1-u2]'*inv(jz2)*[X1-u2]+log(w2)
g3=-1/2*log(det(jz3))-1/2*[X1-u3]'*inv(jz3)*[X1-u3]+log(w3)
%计算结果如下
g1=
-/70496-(-42133/0+63841/2*conj(x1)
-55551/2*conj(x2)-5327/*conj(x3))
*(x1+431/1000)-(181/8581255551/2*conj(x1)
+65033/2*conj(x2)-39861/76*conj(x3))
*(x2+1749/1000)-(927/7632475327/
*conj(x1)-39861/76*conj(x2)+43561/2*conj(x3))*(x3+383/500)
g2=
-/70496-(17/000+74087/
*conj(x1)-04935/2*conj(x2)+71341/2
*conj(x3))*(x1+543/1000)-(69/2875704935/2
*conj(x1)+48939/*conj(x2)-85611/2
*conj(x3))*(x2+381/500)-(27/2000+71341/2
*conj(x1)-85611/2*conj(x2)+57563/2*conj(x3))*(x3+271/500)
g3=
-/70496-(-1/76+3321/
*conj(x1)-28481/*conj(x2)+30057/8*conj(x3))
*(x1-2813/1000)-(-9/127328481/*conj(x1)
+35943/*conj(x2)-72491/2*conj(x3))
*(x2-172/125)-(-9/000+8757/*conj(x1)
-72491/2*conj(x2)+88355/4*conj(x3))*(x3-79/50)
五.请给出感知准则梯降法求线性判别函数权向量w的原理与算法过程。
并用该方法编程求下列两类模式的线性判别函数权向量w,分析步长值与初始权向量对算法的影响。
(10分)
W1类:
x1=[0,0,0]t,x2=[1,0,0]t
X3=[1,0,1]t,x4=[1,1,0]t
W2类:
x5=[0,0,1]t,x6=[0,1,1]t
X7=[0,1,0]t,x8=[1,1,1]t
解:
(一)(以二类模式为例)感知准则梯降法求线性判别函数权向量
的原理:
函数
在某点
的梯度
是一个向量,它的方向与过点
的等量面
的法线方向重合,指向
增加的一方,是准则函数变化率最大的方向。
反之,负梯度的方向则是函数
减少得最快的方向。
所以在求准则函数
的极小值时,沿负梯度方向搜索有可能最快地找到极小值。
(二)算法过程:
①任意选取初始解向量
②遍历所有样本,计算
③找出选择
后,被错分类的样本(即
的样本)
④令
,直到
,否则重复第②步。
(三)程序如下:
Y=[0,0,0;1,0,0;1,0,1;1,1,0;0,0,1;0,1,1;0,1,0;1,1,1];
b=[1,2,2,4,1,2,1,1]';
A1=inv(Y'*Y)*Y'*b%选取最优的初始解向量
%A1=
%1.6250
%1.1250
%0.1250
X1=[0,0,0]';%各样本值
X2=[1,0,0]';
X3=[1,0,1]';
X4=[1,1,0]';
X5=[0,0,1]';
X6=[0,1,1]';
X7=[0,1,0]';
X8=[1,1,1]';
AKY1=A1'*X1%计算初始解向量*各样本的值
AKY2=A1'*X2
AKY3=A1'*X3
AKY4=A1'*X4
AKY5=A1'*X5
AKY6=A1'*X6
AKY7=A1'*X7
AKY8=A1'*X8
%计算结果如下:
%AKY1=0;AKY2=1.625;AKY3=1.7500;AKY4=2.7500;AKY5=0.1250;AKY6=1.2500;AKY7=1.1250;AKY8=2.8750
%AKY值都大于0,即,没有错分类的样本,所以选取的初始解向量就是要求的权向量,即W=[1.6250,1.1250,0.1250]'
六、为什么要进行特征选择与特征提取?
特征选择的基本原则是什么?
简述K-L变换的基本原理。
(10分)
答:
(1)特征选择:
从一组特征中挑选出一些最有效的特征以达到降低特征空间维数的目的的过程。
特征提取:
通过映射或变换的方法把高维的特征向量变换为低维的特征向量,新的特征向量包含水量了原有匐体特征的信息。
特征选择与特征提取是模式识别的重要环节,直接影响到模式分类器的设计和性能。
特征选取择和提取的基本任务是如何从许多特征中找出那些最有效的特征。
(2)特征选择的原则(Featurechoice)
①选择反映模式本质特性的参数作为特征
②使样本类间距离较大、类距离较小
③与类别信息不相关的变换(平移、旋转、尺度变换)具有不变性
④尽量选择相关性小的特征
⑤尽可能不受噪声的干扰
(3)K-L变换的基本原理:
将n维特征向量X,通过特征变换得到另一m维特征向量,使用特征向量Y(m<n),Y与原X量的均方误差最小
七.什么是聚类分析?
常用的聚类分析方法有哪些?
简述K-均值算法的基本原理与算法过程,编写程序,用K-均值算法对下表中的样本进行聚类,设K=3。
讨论初始聚类中心的选择对聚类过程的影响(20分)
样本序号
1
2
3
4
5
6
7
8
9
10
0.42
-0.2
1.3
-1.6
-0.4
-0.31
0.38
0.83
1.1
-0.44
-0.087
-3.3
-0.32
-5.3
0.58
0.2
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 研究生 模式识别 期末 试题
![提示](https://static.bingdoc.com/images/bang_tan.gif)