Fisher分类器算法与程序.docx
- 文档编号:5075510
- 上传时间:2023-05-08
- 格式:DOCX
- 页数:22
- 大小:23.16KB
Fisher分类器算法与程序.docx
《Fisher分类器算法与程序.docx》由会员分享,可在线阅读,更多相关《Fisher分类器算法与程序.docx(22页珍藏版)》请在冰点文库上搜索。
Fisher分类器算法与程序
......
3.5Fisher分类器(FisherLinearDiscriminant)
Fisher判别法是历史上最早提出的判别方法之一,其基本思想是
将n类m维数据集尽可能地投影到一个方向(一条直线),使得类与类之间尽可能分开。
从形式上看,该方法就是所谓的一种降维处理方法。
为简单起见,我们以两类问题1和2的分类来说明Fisher判别法的
原理,如图3.4所示。
设数据阵为XRNm,1共有N1个样本,2共有N2个样本,N=N1+N2。
两个类别在输入空间的均值向量为
xp2
最不利投影方向
μ
2
类
2
1类
μ
1
判为2
最佳投影方向w*
判为1
0xp1
图3.4,Fisher判别法几何原理示意图
.专业资料.
......
μ
1
x
p
Rm
1
N1xp
1
(3.37)
1
μ
x
p
Rm
2
N2xp
2
设有一个投影方向ww1,w2,,wmTRm,这两个均值向量
在该方向的投影为
~
w
T
μ
1
w
T
x
1
μ
p
R
1
1
N1xp
1
(3.38)
~
T
1
T
μ
w
x
1
μ
w
p
R
2
2
N2xp
2
在w方向,两均值之差为
~
~
wTμ
μ
(3.39)
μμ
1
2
1
2
类似地,样本总均值向量在该方向的投影为
~
T
μ
1
N
T
xp
1
(3.40)
μw
w
R
Np1
定义类间散度(Between-classscatter)平方和SSB为
.专业资料.
..
..
..
~
~2
~
~2
2
~
~2
Nj
μ
μ
μ
μ
μ
μ
SSBN11
N22
j
j1
N
wT
μwT
2
2
1
μN
2
wTμwTμ
1
2
wTN
1
μμμμT
N
2
μμμμT
w
1
1
2
2
wTSBw
(3.41)
其中
S
μμμμT
μμμμT
B
N1
1
1
N22
2
2
Nj
μμμT
μ
j
j
j
1
定义类j的类散度(Within-classscatter)平方和为
SS
wTx
~
2
wTx
wT
2
p
μ
p
μ
Wj
j
j
p
Nj
pNj
两个类的总的类散度误差平方和为
2
2
wTx
wT
2
SS
SS
p
μ
W
wj
j
j
1
j1pNj
wT
2
x
μx
μT
w
p
p
j1p
Nj
j
j
wTSWw
其中,
(3.42)
(3.43)
(3.44)
.专业资料.
..
..
..
2
μT
S
x
p
μx
p
(3.45)
W
j
j
j1p
Nj
我们的目的是使类间散度平方和SSB与类散度平方和SSw的比值为
最大,即
SS
wTSw
maxJw
B
T
B
(3.46)
SS
w
SWw
W
.专业资料.
......
xp2
2类
w
1类
μ
2
S
wTμ
μ
μ
B
1
2
1
~
μ
~
T
xp1
0
μwT
1
1
μ
w
μ
2
2
图3.5a,Fisher判别法—类间散度平方和(分子)的几何意义
xp2
2类
w
1类
μ
2
μ
p2
wT
x
μ
p2
1
0
wTx
xp1
p
μ
p1
1
图3.5b,Fisher判别法—类内散度平方和(分母)的几何意义
.专业资料.
......
图3.5给出了类间散度平方和SB与类散度平方和SE的几何意义。
根据图3.5a,类间散度平方和SB的另一种表示方式为
~
~2
T
μ
T
2
SSB
μμ
w
w
μ
1
2
1
2
wTμμμμTw
wTSw
(3.47)
1
2
1
2
B
这里
S
μμμμT
(3.48)
B
1
2
1
2
可以证明,(3.48)
与(3.42)
只相差一个系数。
简单证明如下:
由于
1
μ
N2
μ
μ
xp
xp
N11
2
(3.49)
N
xp
xp
N
1
2
由(3.42)得
S
N
μμμμT
N
2
μμμμT
B
1
1
1
2
2
μ
μ
μ
μT
N1
μ
N11
N22
μ
N11
N22
1
N
1
N
μ
μ
μ
μ
T
N2
μ
N11
N22
μ
N11
N22
2
N
2
N
NN
2
T
N
2N
T
1
2μμμμ
11μμμμ
N2
1
2
1
2
N2
2
1
2
1
N1N2μμμμT
(3.50)
N
1
2
1
2
.专业资料.
......
这说明,(3.48)与(3.42)只相差一个与样本数有关的常数。
根据图3.5b,类散度平方和SSE的另一种表示方式为
SSE
2
2
p1
p2
xp
1
xp
2
wT
x
2
wTx
2
p
μ
p
μ
1
2
xp
1
xp
2
wT
x
p
μx
p
μT
x
p
μx
p
μ
2
w
xp1
1
1
xp2
2
2
wTS
w
(3.51)
W
这正是(3.44)
。
下面分析怎样确定最佳投影方向
w。
1
T
1
显然,B、W均为对称阵,于是,
2
W=
SW
=SW
S
S
2
,且S
S
1
1
v
S
1
w
S
1
2
S2
。
令
2w,则
2v,代入(3.46)
,得
W
W
W
W
wTSwvTST
1
1
2SS
2v
maxJw
B
W
BW
(3.52)
w
vTv
wTS
W
使(3.52)为最大,等价于求最大特征值
1
1
1
T2
SBSW
maxSWSB对应的特征向量。
即
maxSW
2
SW
1
SBwmaxw
(3.53)
.专业资料.
......
我们知道,
S
w
μ
μμ
μTw
B
1
2
1
2
μ
T
T
μμw
μw
1
2
1
~
2
μ
~
μμ
μ
1
2
1
2
μ
μ
(3.54)
1
2
于是,(3.53)
可写成
S
1
μμ
w
(3.55)
max
W
1
2
1
μ
μ的方向一致,即
这说明,w得方向与S
W
1
2
wSW
1
μ
(3.56)
μ
1
2
因此,在应用过程中,我们往往不必求出类间散度阵SB。
w与输入空间维数相等,或者说,投影方向过原点。
设分类阈值为,则判别公式为
x
x
不定
1
2
如果
wTx
如果wTx
(3.57)
如果
wTx
确定的一些经验公式为
(1)取两个类别均值在w方向投影的简单平均
wTμ
μ
1
2
(3.58)
2
.专业资料.
......
(2)考虑样本数的两个类别均值在w方向投影的平均
wTNμ
Nμ
1
1
2
2
(3.59)
N
或
wTNμ
Nμ
(3.60)
2
1
1
2
N
(3)考虑类方差的两个类别均值在w方向投影的平均
wT~
μ
~
μ
2
1
1
2
(3.61)
~1
~2
或
wT~
μ
~
μ
1
1
1
2
(3.62)
~1
~2
这里,~1、~2分别为两个类别在w方向投影的均方差。
当然,当类散度阵SW不可逆时,Fisher判别法失效。
例5在研究地震预报中,遇到沙基液化问题,选择了下列7个有关的
因素:
x1:
震级,
x2:
震中距(公里),
x3:
水深(米),
x4:
土深(米)
x5:
贯入值,
.专业资料.
..
..
..
x
6:
最大地面加速度(
10-2/
2),
Nm
x7:
地震持续时间(秒)。
具体数据如表1所示。
x1
x2
x3
x4
x5
x6
x7
类别
序号
6.6
39
1.0
6.0
6.0
0.12
20
I
1
6.6
39
1.0
6.0
12
0.12
20
I
2
6.1
47
1.0
6.0
6.0
0.08
12
I
3
6.1
47
1.0
6.0
12
0.08
12
I
4
8.4
32
2.0
7.5
19
0.35
75
I
5
7.2
6.0
1.0
7.0
28
0.30
30
I
6
8.4
113
3.5
6.0
18
0.15
75
I
7
7.5
52
1.0
6.0
12
0.16
40
I
8
7.5
52
3.5
7.5
6.0
0.16
40
I
9
8.3
113
0.0
7.5
35
0.12
180
I
10
7.8
172
1.0
3.5
14
0.21
45
I
11
7.8
172
1.5
3.0
15
0.21
45
II
12
8.4
32
1.0
5.0
4.0
0.35
75
II
13
8.4
32
2.0
9.0
10
0.35
75
II
14
8.4
32
2.5
4.0
10
0.35
75
II
15
6.3
11
4.5
7.5
3.0
0.20
15
II
16
7.0
8.0
4.5
4.5
9.0
0.25
30
II
17
7.0
8.0
6.0
7.5
4.0
0.25
30
II
18
7.0
8.0
1.5
6.0
1.0
0.25
30
II
19
8.3
161
1.5
4.0
4.0
0.08
70
II
20
8.3
161
0.5
2.5
1.0
0.08
70
II
21
7.2
6.0
3.5
4.0
12
0.30
30
II
22
7.2
6.0
1.0
3.0
3.0
0.30
30
II
23
7.2
6.0
1.0
6.0
5.0
0.30
30
II
24
5.5
6.0
2.5
3.0
7.0
0.18
18
II
25
8.4
113
3.5
4.5
6.0
0.15
75
II
26
8.4
113
3.5
4.5
8.0
0.15
75
II
27
7.5
52
1.0
6.0
6.0
0.16
40
II
28
7.5
52
1.0
7.5
8.0
0.16
40
II
29
.专业资料.
..
..
..
8.3
97
0.0
6.0
5.0
0.15
180
II
30
8.3
97
2.5
6.0
5.0
0.15
180
II
31
8.3
89
0.0
6.0
10
0.16
180
II
32
8.3
56
1.5
6.0
13
0.25
180
II
33
7.8
172
1.0
3.5
6.0
0.21
45
II
34
7.8
283
1.0
4.5
6.0
0.18
45
II
35
解,设数据文件名为d:
\a.txt,用Matlab实现的源程序如下
loadd:
\ss.txt;
a=ss;
m=mean(a(1:
12,:
));
m(2:
2,:
)=mean(a(13:
35,:
));
ssb=(m(1:
1,:
)-m(2:
2,:
))'*(m(1:
1,:
)-m(2:
2,:
));
ssw=zeros(7,7);
fori=1:
12,
ssw=ssw+(a(i:
i,:
)-m(1:
1,:
))'*(a(i:
i,:
)-m(1:
1,:
));
end
fori=13:
35,
ssw=ssw+(a(i:
i,:
)-m(2:
2,:
))'*(a(i:
i,:
)-m(2:
2,:
));
end
w=inv(ssw)*(m(1:
1,:
)-m(2:
2,:
))';
result=a*w;
theta=w'*(m(1:
1,:
)+m(2:
2,:
))'/2;
fori=1:
35,
.专业资料.
......
result(i:
i,2:
2)=theta;
result(i:
i,3:
3)=i;
end
投影方向向量为
w=(0.0202,-0.0001,-0.0175,0.0156,0.0160,-0.7333,
-0.0016)T,
分类阈值为=0.1358。
决策面方程为
:
l(x)=0.0202x1-0.0001x2-0.0175x3+0.0156x4+0.0160x5-0.7333x6-0.00
16x7-0.1358=0.
分类结果为
序号
T
=0.1358
=0.1007
=0.1709
=0.1567
=0.1149
wx
(3.58)
(3.59)
(3.60)
(3.61)
(3.62)
10.1812
20.2772
30.2125
40.3085
50.1749
60.4163
70.2475
80.2325
90.1160***
100.4551
110.1745
120.1739
.专业资料.
......
13-0.0866
140.0542
15-0.0325
160.0414
170.0442
18-0.0153
19-0.0078
200.0797
210.0259
220.0696
23-0.0462
240.0326
250.0645
260.0320
270.0641
28
0.1365
*
*
*
29
0.1919
*
*
*
*
*
30-0.0687
31-0.1126
320.0048
33-0.0361
340.0464
350.0726
.专业资料.
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- Fisher 分类 算法 程序