数据挖掘概念与技术第三版部分习题答案.docx
- 文档编号:17741101
- 上传时间:2023-08-03
- 格式:DOCX
- 页数:22
- 大小:345.70KB
数据挖掘概念与技术第三版部分习题答案.docx
《数据挖掘概念与技术第三版部分习题答案.docx》由会员分享,可在线阅读,更多相关《数据挖掘概念与技术第三版部分习题答案.docx(22页珍藏版)》请在冰点文库上搜索。
数据挖掘概念与技术第三版部分习题答案
1・4数据仓库和数据库有何不同?
有哪些相似之处?
答:
区别:
数据仓库是面向主题的,集成的,不易更改且随时间变化的数据集合,用来支持管理人员的决策,数据库由一组内部相关的数据和一组管理和存取数据的软件程序组成,是面向操作型的数据库,是组成数据仓库的源数据。
它用表组织数据,采用ER数据模型。
相似:
它们都为数据挖掘提供了源数据,都是数据的组合。
1・3定义以下数据挖掘功能:
特征化、区分、关联和相关分析、预测聚类和演变分析。
使用你熟悉的现实生活的数据库,给出每种数据挖掘功能的例子。
答:
特征化是一个口标类数据的一般特性或特性的汇总。
例如,学生的特征可被提出,形成所有大学的计算机科学专业一年级学生的轮廓,这些特征包括作为一种高的年级平均成绩(GPA:
Gradepointaversge)的信息,还有所修的课程的最大数量。
区分是将目标类数据对象的一般特性与一个或多个比照类对象的一般特性进行比拟。
例如,具有高GPA的学生的一般特性可被用来与具有低GPA的一般特性比拟。
最终的描述可能是学生的一个一般可比拟的轮廓,就像具有高GPA的学生的75%是四年级计算机科学专业的学生,而具有低GPA的学生的65%不是。
关联是指发现关联规那么,这些规那么表示一起频繁发生在给定数据集的特征值的条件。
例如,一个数据挖掘系统可能发现的关联规那么为:
major(X,44computingscience)?
owns(X,“personalcomputer〞)
[support二12%,confidence二98%]其中,X是一个表示学生的变量。
这个规那么指出正在学习的学生,12%
(支持度)主修计算机科学并且拥有一台个人计算机。
这个组一个学生拥有一台个人电脑的概率是98%(置信度,或确定度)。
分类与预测不同,因为前者的作用是构造一系列能描述和区分数据类型或概念的模型(或功能),而后者是建立一个模型去预测缺失的或无效的、并且通常是数字的数据值。
它们的相似性是他们都是预测的工具:
分类被用作预测LI标数据的类的标签,而预测典型的应用是预测缺失的数字型数据的值。
聚类分析的数据对象不考虑的类标号。
对象根据最大花蕾内部的相似性、最小化类之间的相似性的原那么进行聚类或分组。
形成的每一簇可以被看作一个对象类。
聚类也便于分类法组织形式,将观测组织成类分层结构,把类似的事件组织在一起。
数据演变分析描述和模型化随时间变化的对象的规律或趋势,尽管这可能包括时间相关数据的特征化、区分、关联和相关分析、分类、或预测,这种分析的明确特征包括时间序列数据分析、序列或周期模式匹配、和基于相似性的数据分析假设给定的数据集的值已经分组为区间。
区间和对应的频率如下。
年龄频率
广5
200
5~15
450
15"20
300
20"50
1500
50~80
700
80^110
计算数据的近似中位数值。
解答:
先判定中位数区间:
N二200+450+300+1500+700+44二3194;N/2二1597T200+450+300=950<1597<2450=950+1500;20、50对应中位
数区间。
(X-/M
•e.median=32.97岁。
假定用于分析的数据包含属性ageo数据元组的age值(以递增序)是:
13,15,
16,16,19,20,20,21,22,22,25,25,25,25,30,33,33,35,35,35,35,
36,40,45,46,52,70。
答:
(a)该数据的均值是什么?
中位数是什么?
均值
二(13+15+16+16+19+20+20+21+22+22+25+25+25+25+30+33+33+35+35+35+35+36+40+45+46+52+70)/27
=29.96
_1<
乂=—〉,七
即X14二25二Q2。
中位数应融14个,
〔b〕该数据的众数是什么?
讨论数据的峰〔即双峰、三峰等〕。
和33,发生在同样最高的频率处,因此是双峰众数。
〔c〕数据的中列数是什么?
数据的中列数是最大数和最小数的均值。
B|J:
midrange=〔70+13〕/2=41.5。
〔d〕你能〔粗略地〕找出数据的第一个四分位数〔Q1〕和第三个四分位数〔Q3〕吗?
数据集的第一个四分位数应发生在25%处,即在〔N+l〕/4二〔27+1〕/4二7处。
所以:
Ql=20o
而第三个四分位数应发生在75%处,即在3X〔N+1〕/4=21处。
所以:
Q3=35
〔e〕给出数据的五数概括。
一个数据集的分布的5数概括由最小值、第一个四分位数、中位数、第三个四分位数、和最
大值构成。
它给出了分布形状良好的汇总+并且这些数据是:
13、20、25.35、70o
〔f〕画岀数据的盒图。
〔g〕分位数一分位数图与分位数图的不同之处是什么?
分位数图是一种用来展示数据值低于或等于在一个单变量分布中独立的变量的粗略百分比。
这样,他可以展示所有数的分位数信息,而为独立变量测得的值〔纵轴〕相对于它们的分位数〔横轴〕被描绘出来。
但分位数一分位数图用纵轴表示一种单变量分布的分位数,用横轴表示另一单变量分布的分位数。
两个坐标轴显示它们的测量值相应分布的值域,且点按照两种分布分位数值展
示。
一条线〔y二x〕可画到图中+以增加图像的信息。
落在该线以上的点表示在y轴上显示的值的
分布比x轴的相应的等同分位数对应的值的分布高。
反之,对落在该线以下的点那么低。
2.4假设医院检测随机选择的18个成年人年龄和身体脂肪数据,得到如下结果:
〔a〕计算年龄和脂肪白•分比的均值、中位数和标准差・年龄均值二〔23+23+27+27+39+41+47+49+50+
52+54+54+56+57+58+58+60+61)/18二836/18二46.44,
中位数二(50+52)/2=51,
标准差二方差的平方根二开根号(l/n[L(Xi)2-l/n(EXi)J)二开根号
1/18[2970.44]=12・85.脂肪百分比均值二28.78,中位数=30.7,标准差二8.99.
(b)绘制年龄和脂肪白分比的盒图
:
ore
:
(
q-q图
(d)根据z-标准化来标准化这两个属P46)
散布图
(c)根据这两个属性,绘制散布图,
使用习题给出的age数据答复以下问题:
(a)使用分箱均值光滑对以上数据进行光滑,箱的深度为3o解释你的步骤。
评述对于给
定的数据,该技术的效果。
(b)如何确定数据中的离群点?
(C)对于数据光滑,还有哪些其他方法?
解答:
(a)使用分箱均值光滑对以上数据进行光滑,箱的深度为3。
解释你的步骤。
评述对于给定的数据,该技术的效果。
用箱深度为3的分箱均值光滑对以上数据进行光滑需要以下步骤:
步骤1:
对数据排序。
(因为数据已被排序,所以此时不需要该步骤。
)
步骤2:
将数据划分到大小为3的等频箱中。
箱1:
13,15,
箱2:
16,
19,
20
箱
20,
21,
22
16
箱5:
25,
25,
30
3:
33,
33,
35
箱牡25.
箱&36-
40-
45
箱
46.
52,
70
步骤:
计算每个等频箱的算数均值。
步骤:
用各箱讣算出的算数均值替换每箱中的
箱
44/3,
44/3,
箱
2:
55/3,
55/3
箱3:
21,21,21
箱
24,24,
24
箱5:
80/3
80/3
80/3箱
101/101/3,
箱
35,35,
35
箱
8:
121/3,
121/3
箱9:
56,56,56
(b)如何确定数据中的离群点?
聚类的方法可用来将相似的点分成组或“簇〞,并检测离群点。
落到簇的集外的值可以被视
为离群点。
作为选择,一种人机结合的检测可被釆用,而计算机用一种事先决定的数据分布来区分可能的离群点。
这些可能的离群点能彼用人工轻松的检验,而不必检查整个数据集。
°(c)对于数据光滑,还有哪些其他方法?
其它可用来数据光滑的方法包括别的分箱光
滑方法,如中位数光滑和箱边界光滑。
作为选择,等宽箱可被用来执行任何分箱方式,其中每个箱中的数据范围均是常量。
除了分箱方法外,可以使用回归技术拟合成函数来光滑数据,如通过线性或多线性回归。
分类技术也能被用来对概念分层,这是通过将低级概念上卷到高级概念来光滑数据。
如下标准化方法的值域是什么?
答:
(a)min-max标准化。
值域是[new_min,new_max]。
(b)z-score标准化。
值域是[(old^min—mean)/o,(old_max—mean)/o],总的来说,对于所有可能的数据集的值域是(一8,+8)。
(c)小数定标标准化。
值域是(一1.0,1.0)o
使用习题给出的age数据,答复以下问题:
(a)使用min-max标准化将age值35变换到[0.0»1.0]区间。
(b)使用z-score标准化变换age值35,其中age的标准差为岁。
(c)使用小数定标标准化变换age值35。
(d)对于给定的数据,你愿意使用哪种方法?
陈述你的理市。
解答:
假设12个销售价格记录组已经排序如下:
5,10,11,13,15,35,
50,55,72,92,204,215。
使用如下每种方法将其划分成三个箱。
(a)等频(等深)划分。
=161.2949,aA=心=
he
2_
4一N
(C)
答:
等宽划分。
聚类。
解
(a)等频(等深)划分。
binl
5,10,11,13
binl
15,35,50,55
binl72,91,204,215
(b)等宽划分。
每个区间的宽度是:
〔215-5〕/3二70
binl
5,10,11,13,15,35,50,55
70
binl
91
binl
204,215
〔c〕聚类。
我们可以使用一种简单的聚类技术:
用2个最大的间隙将数据分成3个箱。
binl
5,10,11,13,15
binl
35,50,55,72,9
binl
204,215
使用习题给出的age数据,
〔a〕画出一个等宽为10的等宽直方图;
b解答:
〔a〕画出一个等宽为10的等宽直方图:
为
如
下
每
种
抽
样
技
术
勾
〔画元组:
Ti
13
Tio
22
T19
35
T2
15
Th
25
T20
35
『3
Ti
16
Ti:
25
T21
35
16
Th
25
T:
2
36
To
19
Tn
25
T23
40
Tg
20
T15
30
*24
45
r?
20
Tig
33
T:
5
46
rs
21
Tit
33
T26
52
『9
22
Tis
35
T27
70
但前者因无放回
SRS^RSRSWR:
不是同次的随机抽样结果可以不同,^所以不能有相同的元组。
SRSWOR
(n=5)
SRSWR
(n二5)
Ti
16
T:
20
Tg
20
Tt
20
T10
22
Tzo
35
Th
25
Tzi
35
T26
52
T:
5
46
聚类抽样:
设起始聚类共有6类,町抽其中的m类。
Samplel
Sample2
Sample3
Sampled
Sample5
Sample6
Ti
13
Ts
20
Th
25
Tig
33
Tzi
35
T26
52
T:
15
T?
20
T12
25
T17
33
T22
36
T27
70
T3
16
Ts
21
T13
25
tlS
35
=23
40
Ti
16
T9
22
Tl!
25
T19
35
T?
l
45
To
19
Tio
22
T15
30
Tzo
35
T25
46
Sample2Sample5
T6
20
T21
35
T?
20
T22
36
Ts
21
T23
40
Ts
22
T24
45
T10
22
T25
46
ri
13
young
40
22
young
49
35
middleage
r2
15
young
Th
25
young
T20
35
middleage
T3
16
young
42
25
young
35
middleage
n
16
young
Tis
25
young
T22
36
middleage
T5
19
young
T11
25
young
T23
40
middleage
『6
20
young
T15
30
•niddleage
T21
45
middleage
r?
20
young
Tig
33
•niddleage
T25
46
middleage
rs
21
young
Tit
33
•niddleage
T:
6
52
middleage
『9
22
young
Tis
35
•niddleage
T27
70
senior
Ti
16
young
T12
25
young
T17
33
middleage
T25
46
middleage
T27
70
Senior
4.3假定数据仓库包含三维:
time,doctor和patient;和两个度量:
count和charge;其中,charge是医生对病人一次诊治的收费。
(&)列举三种流行的数据仓库建模模式答:
三类模式一般用于建模数据仓库架构的星形模型,雪花模型和事实星座模型。
(b)使用(a)列举的模式之一,画出上面的数据仓库的模式图
哪些0LAP操作?
沿课程(course)维从course_id"上卷"到department。
沿时间(time)维从day"上卷〞到year<>
取time二2004,对维time作“切片〞操作
沿病人(patient)维从个别病人“上卷〞到全部病人。
(d)为得到同样结果,写一个SQL查询。
假定数据存放在关系数据库中,其模式为
fee(day,month,year,doctor,hospitalspatientscount,charge)o答:
SQL查询语句如下:
selectdoctor,SUM(charge)fromfee
whereyear=2004
groupbydoctor
major,status,university),course(course_name,,semester(semester,year)instructor(dept,rank):
2个度量:
count在最低概念层,度量avg_grade存放
学生的实际课程成绩。
定在较高概念层,avg_grade存放给定组合的平均成绩。
(a)为该数据仓库画出雪花形模式图。
(b)由根本方体[student,semester,instructor]开始,
course,出BigUniversity每个为列课程的平均成绩,应当使用学生的CS殊的OLAP操作。
:
解答c:
1a)为该数据仓库画出雪花形模式图。
雪花模式如下图。
b)由根本方体[student,course,semester,instructor]开始,为列出BigUniversity每个学生的CS课程的平均成绩,应当使用哪些特殊的OLAP操作。
这些特殊的联机分析处理(OLAP)操作有:
i.沿课程(course)维从course_id"上卷"到department。
ii.沿学生(student)维从student_id"上卷"到university。
iii.取department二“CS〞和university二“BigUniversity〞,沿课程
(course)维和学生(student)维切片。
iv.沿学生(student)维从university卜钻到student_name。
c
这个立方体)将包含5*625个方体。
如果每维有
4.5假定数据仓库包含4维:
date,spectator,location,和garnet和两个度量:
count和charge;其中,charge是观众在给定的日期观看节目的付费。
观众可以是学生、成年人或老年人,每类观众有不同的收费标准。
〔a〕画出该数据仓库的星形模式图。
答:
星形模式图如下:
b.曲根本方体[daterspectatortlocation,game]开始,为列出2004年学生观众在的总付费,应执行的OLAP操作:
沿时间〔date〕维从date_id“上卷〞到
沿时间〔game〕维从game.id“上卷〞到全部。
沿时间(location)维从location_id"上卷"到location_name。
沿时间(spectator)维从spectator_id"上卷"到status。
以status二〃students",locationname二Place"andyear=2004作转轴操作
4.6数据仓库可以用星形模式或雪花模式建模。
简略讨论这两种模式的相似点和不同点,然后分析它们的相对做优、缺点。
哪种模式更实用,给出你观点并陈述你的理由。
答:
星形模式或雪花模式的相似点是它们包含一个事实表和一些维表。
它们主要的不同在于,雪花模式的维表可能是标准化形式,以便减少了冗余,这种表易于维护并节省存储空间。
然而,与巨大的事实表相比,这种空间的节省可以忽略。
此外,曲于执行查询需要更多的连接操作,雪花形结构可能降低浏览的性能,这样,系统的性能可能相对的受到影响。
星型模式的优点是简单、这使得它更有效,但它需要更多的空间。
因此,只要空间的要求不是太大时,星形模式比雪花模式更好,因为通常效率比空间具有更高的优先级。
在工业上,有时可能将数据从一个雪花模式非标准化为星型模式以加快处理速度,另一种选择是保持雪花模式的维表,然后相同数据的当前用户折叠为星形。
4.
9
5.15.2
假定根本方体有三维A,B,C,其单元数如下:
IAl=1000000,|B=100,|C|=1000.假定每10维均等地分块成局部。
(a)假定每维只有一层,画出完整的立方体的格。
答:
完整的立方体的格如以下图
b)如果每个立土体单元存放一个4字节的度量,假设立方体是稠密的,所计算的立方体有多大?
答:
所计算的立方体大小如下:
all:
1
A:
1,000,000;B:
100;C:
1,000;小计:
1,001,100
AB:
1,000,000*100=100,000,000;BC:
100*1,000=100,000;AC:
1,000,000*1,000=1,000,000,000;
小计:
1,100,100,000
ABC:
1,000,000*100*1,000=100,000,000,000
总和:
1+1,001,100+1,100,100,000+100,000,000,000=101,101,101,101*4=404,404,404,404字节C〕指出空间需求量最小的立方体中的块计算次序,并计算2-D平面计算所需要的内存空间总量。
答:
顺序计算,需要最少数量的空间B-C-A.如下图:
计算二维平面需要的总主内存空间是:
总空间二(100X1,000)+(1,000,000X10)+(100X10,000)=20,100,000单元*4字节/单元二
80,400,000字节
6.3Apriori算法使用子集支持性质的先验知识。
(a)证明频繁项集的所有非空的子集也必须是频繁的。
答:
设s是一个频繁项集,是最小支持度阀值,任务相关的数据D是数据库事|d|务的集合,是D有事务量,那么有Support_count(s)=min_supX|D|;
再设s'是s的非空子集,那么任何包含项集s的事务将同样包含项集s',即:
support,count(s')supportcount(s)=min_supXD・
所以,s'也是一个频繁项集。
(b)证明项集S的任意非空子集s'的支持至少和S的支持度一样大。
答:
设任务相关的数据D是数据库事务的集合,|D|是D的事务量,山定义得:
设s'是s的非空子集,由定义得:
由(a)可知:
support(s')support(s)
由此证明,项集s的任意非空子集s'的支持至少和S的支持度一样大。
C)给定频繁项集1和1的子集S,证明规那么的置信度不可能人于
答:
设S是1的子集,那么
设s'是S的非空子集,那么
由(b)可知:
support_count(s')supportcount(s),
此夕卜,confidence(s')(l~s'))confidence(s)(1-s))
所以,规那么的置信度不可能大于。
6.6设数据库有5个事务。
设min_sup=60%,min_conf=80%
(a)分别使用Apriori和FP增长算法找出所有频繁项集。
比拟两种挖掘过程的效率。
IIJi«>wtIiIigiirpS.2k>rthpkP-trp^.
Y:
l
效率比拟:
Apriori需屡次扫描数据库而FP增长建立FP树只需一次的扫描。
在Apriori算法中产生候选
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 数据 挖掘 概念 技术 第三 部分 习题 答案