应用统计学总结.docx
- 文档编号:13080782
- 上传时间:2023-06-10
- 格式:DOCX
- 页数:21
- 大小:30.07KB
应用统计学总结.docx
《应用统计学总结.docx》由会员分享,可在线阅读,更多相关《应用统计学总结.docx(21页珍藏版)》请在冰点文库上搜索。
应用统计学总结
一.统计学性质
统计学:
收集、分析、表述和解释数据的科学1.数据搜集:
取得数据;2.数据分析:
分析数据;3.数据表述:
图表展示数据;4.数据解释:
结果的说明
(一)现代统计学的性质可归纳为如下几个方面:
1.统计学是方法论科学,而不是实质性科学
它研究的是事物普遍存在的数量关系的计量和数量分析的方法,并通过数量分析来认识特定事物的内在规律性,但不是研究规律本身。
2.统计学的应用范围不局限于社会科学,也不局限于自然科学。
由于其方法来自于社会科学也来自于自然科学,所以它可以用于社会现象也可以用于自然现象,即统计学是一种通用的方法论科学。
同时统计学也不是依服于实质性科学而存在的方法论,它是独立的方法论科学。
3.统计学的研究对象既包括确定性现象的总体数量关系,也包括随机现象的总体数量关系,即统计学是研究各类事物总体数据的方法论科学。
统计学是为探索事物数量所反映的客观规律性,而对事物总体的大量数据进行收集、整理和分析研究的方法论科学。
它以大量的客观事物的量化描述、特征推算及关系分析为其主要研究对象。
(二)描述统计学与推断统计学:
描述统计学(DescriptiveStatistics)研究如何取得反映客观现象的数据,并通过图表形式对所收集的数据进行加工处理和显示,进而通过综合概括与分析得出反映客观现象的规律性数量特征。
内容包括统计数据的收集方法、数据的加工处理方法、数据的显示方法、数据分布特征的概括与分析方法等。
推断统计学(1nferentialStatistics)则是研究如何根据样本数据去推断总体数量特征的方法,它是在对样本数据进行描述的基础上,对统计总体的未知数量特征做出以概率形式表述的推断。
描述统计学和推断统计学的划分,一方面反映了统计方法发展的前后两个阶段,同时也反映了应用统计方法探索客观事物数量规律性的不同过程。
统计研究过程的起点是统计数据,终点是探索出客观现象内在的数量规律性。
在这一过程中,如果搜集到的是总体数据(如普查数据),则经过描述统计之后就可以达到认识总体数量规律性的目的了;如果所获得的只是研究总体的一部分数据(样本数据),要找到总体的数量规律性,则必须应用概率论的理论并根据样本信息对总体进行科学的推断。
显然,描述统计和推断统计是统计方法的两个组成部分。
描述统计是整个统计学的基础,推断统计则是现代统计学的主要内容。
二.统计数据
对现象进行测量的结果;不是指单个的数字,而是由多个数据构成的数据集;不仅仅是指数字,它可以是数字的,也可以是文字的
分类:
按计量
1.分类数据(categoricaldata)
⏹只能归于某一类别的非数字型数据
⏹对事物进行分类的结果,数据表现为类别,用文字来表述
2.顺序数据(rankdata)
⏹只能归于某一有序类别的非数字型数据
⏹对事物类别顺序的测度,数据表现为类别,用文字来表述
3.数值型数据(metricdata)
⏹按数字尺度测量的观察值
⏹结果表现为具体的数值,对事物的精确测度
按收集方法
1.观测的数据(observationaldata):
在没有对事物人为控制的条件下而得到的,通过调查或观测而收集到的数据
2.试验的数据(experimentaldata):
在试验中控制试验对象而收集到的数据
按时间状况
1.时间序列数据(timeseriesdata)
⏹在不同时间上收集到的数据
⏹描述现象随时间变化的情况
2.截面数据(cross-sectionaldata)
⏹在相同或近似相同的时间点上收集的数据
⏹描述现象在某一时刻的变化情况
三.数据质量
1.数据的误差:
(1)抽样误差;
a、在用样本数据进行统计推断时所产生的误差(样本统计量与相应总体参数之间的偏差)
b、由于抽样的随机性所带来的误差
c、影响抽样误差的大小的因素:
抽样方法;样本量的大小;总体的变异性
(2)非抽样误差(抽样框误差;回答误差;无回答误差;调查员误差)
a、调查过程中由于调查者和被调查者的人为因素所造成的误差(除抽样误差之外的,由于其他原因造成的样本观察结果与总体真值之间的差异)
b、理论上可以消除
c、存在于所有的调查之中:
概率抽样,非概率抽样,全面性调查
(3)误差的控制
a、抽样误差可计算和控制
b、非抽样误差的控制:
调查员的挑选;调查员的培训;督导员的调查专业水平:
调查过程控制(调查结果进行检验、评估;现场调查人员进行奖惩的制度)
(4)统计数据质量的要求;
1.精度:
最低的抽样误差或随机误差
2.准确性:
最小的非抽样误差或偏差
3.关联性:
满足用户决策、管理和研究的需要
4.及时性:
在最短的时间里取得并公布数据
5.一致性:
保持时间序列的可比性
6.最低成本:
以最经济的方式取得数据
四.数据特征
(一)集中趋势:
表明同类现象在一定时间、地点条件下,所达到的一般水平与大量单位的综合数量特征,有以下3个特点:
1.用一个代表数值综合反映个体某种标志值的一般水平。
2.将个体标志值之间的差异抽象掉了。
3.计量单位与标志值的计量单位一致。
集中趋势
1.一组数据向其中心值靠拢的倾向和程度
2.测度集中趋势就是寻找数据水平的代表值或中心值
3.不同类型的数据用不同的集中趋势测度值
4.低层次数据的测度值适用于高层次的测量数据,但高层次数据的测度值并不适用于低层次的测量数据
集中趋势的作用:
•比较若干总体的某种标志数值的平均水平
•研究总体某种标志数值的平均水平在时间上的变化
•分析社会经济现象的依存关系
•研究和评价事物优劣的数量指标
•计算和估算其他重要的经济指标
(二)离中趋势:
1.数据分布的另一个重要特征
2.反映各变量值远离其中心值的程度(离散程度)
3.从另一个侧面说明了集中趋势测度值的代表程度
4.不同类型的数据有不同的离散程度测度值
离中趋势度量的目的:
描述总体内部差异程度;衡量和比较均值指标的代表性高低;为抽选样本单位数提供依据
区别与联系:
区别:
集中趋势是对频数分布资料的集中状况和平均水平的综合测度;是一组数据向其中心值靠拢的倾向和程度;测度集中趋势就是寻找数据水平的代表值或中心值。
离中趋势是对频数分布资料的差异程度和离散程度的测度,用来衡量集中趋势所测数据的代表性,或者反应变量值的稳定性与均匀性;是用来描述总体内部差异程度及衡量和比较均值指标的代表性高低。
偏度是用来反应变量数列分布偏斜程度的指标,有对称分布和非对称分布,非对称分布也即为偏态分布,包括左偏分布和右偏分布。
峰度是用来反应变量数列曲线顶端尖峭或扁平程度的指标。
联系:
为了反面描述研究对象的情况,仅仅用集中趋势方法来测度集中性和共性是不够的,还要用离散趋势方法来测度其离散性和差异性,因此,而这需要结合使用。
集中趋势和离中趋势是变量数列分布的两个重要特征,但要全面了解变量数列分布的特点,还需要知道数列的形状是否对称、偏斜程度以及分布的扁平程度等。
偏度和峰度就是从分布特征作进一步的描述。
五.参数估计
(一)点估计
1.用样本的估计量直接作为总体参数的估计值
2.缺点:
没有给出估计值接近总体参数程度的信息,它与真挚的误差、估计可靠性怎么样无法知道。
区间估计可以弥补这种不足。
3.点估计的方法有矩估计法、顺序统计量法、最大似然法、最小二乘法等
(二)区间估计
在点估计的基础上,给出总体参数估计的一个区间范围,该区间由样本统计量加减抽样误差而得到的。
根据样本统计量的抽样分布能够对样本统计量与总体参数的接近程度给出一个概率度量。
(三)置信水平
1.将构造置信区间的步骤重复很多次,置信区间包含总体参数真值的次数所占的比例称为置信水平
2.表示为(1-
常用的置信水平值有99%,95%,90%;相应的为0.01,0.05,0.10
(四)置信区间
✓由样本统计量所构造的总体参数的估计区间称为置信区间;
✓统计学家在某种程度上确信这个区间会包含真正的总体参数,所以给它取名为置信区间
✓用一个具体的样本所构造的区间是一个特定的区间,我们无法知道这个样本所产生的区间是否包含总体参数的真值,我们只能是希望这个区间是大量包含总体参数真值的区间中的一个,但它也可能是少数几个不包含参数真值的区间中的一个
置信区间的表述:
1.总体参数的真值是固定的,而用样本构造的区间则是不固定的,因此置信区间是一个随机区间,它会因样本的不同而变化,而且不是所有的区间都包含总体参数
2.实际估计时往往只抽取一个样本,此时所构造的是与该样本相联系的一定置信水平(比如95%)下的置信区间。
我们只能希望这个区间是大量包含总体参数真值的区间中的一个,但它也可能是少数几个不包含参数真值的区间中的一个
3.当抽取了一个具体的样本,用该样本所构造的区间是一个特定的常数区间,我们无法知道这个样本所产生的区间是否包含总体参数的真值,因为它可能是包含总体均值的区间中的一个,也可能是未包含总体均值的那一个
4.一个特定的区间总是“包含”或“绝对不包含”参数的真值,不存在“以多大的概率包含总体参数”的问题
5.置信水平只是告诉我们在多次估计得到的区间中大概有多少个区间包含了参数的真值,而不是针对所抽取的这个样本所构建的区间而言的
6.使用一个较大的置信水平会得到一个比较宽的置信区间,而使用一个较大的样本则会得到一个较准确(较窄)的区间。
直观地说,较宽的区间会有更大的可能性包含参数
7.但实际应用中,过宽的区间往往没有实际意义
8.区间估计总是要给结论留点儿余地
影响置信区间宽度的因素:
1.总体数据的离散程度,用来测度;2.样本容量;3.置信水平(1-),影响zα/2的大小
(五)参数估计标准:
无偏性:
估计量抽样分布的数学期望等于被估计的总体参数
有效性:
对同一总体参数的两个无偏点估计量,有更小标准差的估计量更有效
一致性:
随着样本容量的增大,估计量的值越来越接近被估计的总体参数
六.假设检验
(一)概念
1.先对总体的参数(或分布形式)提出某种假设,然后利用样本信息判断假设是否成立的过程
2.有参数检验和非参数检验
3.逻辑上运用反证法,统计上依据小概率原理
什么小概率?
1.在一次试验中,一个几乎不可能发生的事件发生的概率
2.在一次试验中小概率事件一旦发生,我们就有理由拒绝原假设
3.小概率由研究者事先确定
怎样通过假设检验去掉偶然性
利用P值进行检验就可以去掉偶然性。
因为P值告诉我们在某个总体的许多样本中,某一类数据出现的经常程度,P值是当原假设正确的情况下,得到所观测的数据的概率。
如果原假设是正确的,P值若很小,则告诉我饿们得到这样的观测数据是多么的不可能,相当不可能得到的数据,就是原假设不对的合理证据,偶然性也就消除了。
(二)原假设
1.研究者想收集证据予以反对的假设。
是关于总体参数的表述,它是接受检验的假设。
2.总是有符号,或
3.表示为H0
⏹H0:
=某一数值
⏹指定为符号=,或
(三)备择假设
1.研究者想收集证据予以支持的假设。
党员假设被否定时另一种可成立的假设。
2.总是有符号,或
3.表示为H1
⏹H1:
<某一数值,或某一数值
(四)结论与总结
1.原假设和备择假设是一个完备事件组,而且相互对立
⏹在一项假设检验中,原假设和备择假设必有一个成立,而且只有一个成立
2.先确定备择假设,再确定原假设
3.等号“=”总是放在原假设上
4.因研究目的不同,对同一问题可能提出不同的假设(也可能得出不同的结论)
(五)两类错误
1.第Ⅰ类错误(弃真错误)
⏹原假设为真时拒绝原假设
⏹第Ⅰ类错误的概率记为。
被称为显著性水平。
常用的值有0.01,0.05,0.10
2.第Ⅱ类错误(取伪错误)
⏹原假设为假时未拒绝原假设
⏹第Ⅱ类错误的概率记为(Beta)
影响错误的因素:
1.总体参数的真值。
随着假设的总体参数的减少而增大
2.显著性水平。
当减少时增大3.总体标准差。
当增大时增大4.样本容量n。
当n减少时增大
控制:
进行假设检验时总希望犯两类错误的可能性都很小,然而,在其他条件不变的情况下,与是此消彼长的关系,二者不可能同时减小。
若要同时减小与,只能是增大样本量。
一般总是控制,是犯错误的概率不大于,即是允许犯弃真错误的最大概率值(而P值相当于根据样本计算的犯弃真错误的概率值,故P值又称为观测的显著性水平)。
但确定时必须注意,如果犯弃真错误的代价较大,可取小些,相反,如果返取伪错误的代价较大,则宜取大些(以使较小)
(六)假设检验的结论表述
1.假设检验的目的就在于试图找到拒绝原假设,而不在于证明什么是正确的
2.拒绝原假设时结论是清楚的
⏹例如,H0:
=10,拒绝H0时,我们可以说10
3.当不拒绝原假设时
⏹并未给出明确的结论
⏹不能说原假设是正确的,也不能说它不是正确的
⏹例如,当不拒绝H0:
=10,我们并未说它就是10,但也未说它不是10。
我们只能说样本提供的证据还不足以推翻原假设
(七)统计上的显著与实际意义
1.当拒绝原假设时,我们称样本结果是统计上显著的(statisticallySignificant)
2.当不拒绝原假设时,我们称样本结果是统计上不显著的
3.在“显著”和“不显著”之间没有清除的界限,只是在P值越来越小时,我们就有越来越强的证据,检验的结果也就越来越显著
4.“显著的”(Significant)一词的意义在这里并不是“重要的”,而是指“非偶然的”
5.一项检验在统计上是“显著的”,意思是指:
这样的(样本)结果不是偶然得到的,或者说,不是靠机遇能够得到的
6.如果得到这样的样本概率(P)很小,则拒绝原假设
✓在这么小的概率下竟然得到了这样的一个样本,表明这样的样本经常出现,所以,样本结果是显著的
7.在进行决策时,我们只能说P值越小,拒绝原假设的证据就越强,检验的结果也就越显著
8.但P值很小而拒绝原假设时,并不一定意味着检验的结果就有实际意义
⏹因为假设检验中所说的“显著”仅仅是“统计意义上的显著”
⏹一个在统计上显著的结论在实际中却不见得就很重要,也不意味着就有实际意义
9.因为值与样本的大小密切相关,样本量越大,检验统计量的P值也就越大,P值就越小,就越有可能拒绝原假设
10.如果你主观上要想拒绝原假设那就一定能拒绝它
⏹这类似于我们通常所说的“欲加之罪,何患无词”
⏹只要你无限制扩大样本量,几乎总能拒绝原假设
11.当样本量很大时,解释假设检验的结果需要小心
⏹在大样本情况下,总能把与假设值的任何细微差别都能查出来,即使这种差别几乎没有任何实际意义
12.在实际检验中,不要刻意追求“统计上的”显著性,也不要把统计上的显著性与实际意义上的显著性混同起来
⏹一个在统计上显著的结论在实际中却不见得很重要,也不意为着就有实际意义
七.方差分析
1.通过分析数据的误差判断各总体均值是否相等;研究一个或多个分类型自变量对一个数值型因变量的影响。
单因素方差分析:
涉及一个分类的自变量
双因素方差分析:
涉及两个分类的自变量
2.
(1)仅从散点图上观察还不能提供充分的证据证明不同行业被投诉的次数之间有显著差异
⏹这种差异也可能是由于抽样的随机性所造成的
需要有更准确的方法来检验这种差异是否显著,也就是进行方差分析
⏹所以叫方差分析,因为虽然我们感兴趣的是均值,但在判断均值之间是否有差异时则需要借助于方差
⏹这个名字也表示:
它是通过对数据误差来源的分析判断不同总体的均值是否相等。
因此,进行方差分析时,需要考察数据误差的来源
(2)随机误差
⏹因素的同一水平(总体)下,样本各观察值之间的差异
⏹比如,同一行业下不同企业被投诉次数是不同的
⏹这种差异可以看成是随机因素的影响,称为随机误差
系统误差
⏹因素的不同水平(不同总体)下,各观察值之间的差异
⏹比如,不同行业之间的被投诉次数之间的差异
⏹这种差异可能是由于抽样的随机性所造成的,也可能是由于行业本身所造成的,后者所形成的误差是由系统性因素造成的,称为系统误差
(3)数据的误差用平方和(sumofsquares)表示
组内平方和(withingroups)
⏹因素的同一水平(同一个总体)下样本数据的平方和
⏹比如,零售业被投诉次数的误差平方和
⏹组内平方和只包含随机误差
组间平方和(betweengroups)
⏹因素的不同水平(不同总体)下各样本之间的平方和
⏹比如,四个行业被投诉次数之间的误差平方和
⏹组间平方和既包括随机误差,也包括系统误差
3.方差分析的基本假定
1.正态性:
每个总体都应服从正态分布
▪对于因素的每一个水平,其观察值是来自服从正态分布总体的简单随机样本
▪比如,每个行业被投诉的次数必需服从正态分布
2.方差齐性:
各个总体的方差必须相同
▪各组观察数据是从具有相同方差的总体中抽取的
▪比如,四个行业被投诉次数的方差都相等
3.独立性:
观察值是独立的(该假定不满足对结果影响较大)
4.问题的一般提法:
(1)设因素有k个水平,每个水平的均值分别用1,2,,k表示
(2)要检验k个水平(总体)的均值是否相等,需要提出如下假设:
▪H0:
12…k
▪H1:
1,2,,k不全相等
5.SST:
全部观察值xij与总平均值的离差平方和,反映全部观察值的离散状况
SSA:
各组平均值xi与总平均值xij的离差平方和;反映各总体的样本均值之间的差异程度,又称组间平方和;该平方和既包括随机误差,也包括系统误差
SSE:
每个水平或组的各样本数据与其组平均值的离差平方和;反映每个样本各观察值的离散状况,又称组内平方和;该平方和反映的是随机误差的大小
总离差平方和(SST)、误差项离差平方和(SSE)、水平项离差平方和(SSA)之间的关系:
SST=SSA+SSE
1.如果原假设成立,则表明没有系统误差,组间平方和SSA除以自由度后的均方与组内平方和SSE和除以自由度后的均方差异就不会太大;如果组间均方显著地大于组内均方,说明各水平(总体)之间的差异不仅有随机误差,还有系统误差
2.判断因素的水平是否对其观察值有影响,实际上就是比较组间方差与组内方差之间差异的大小
6.均方
1.各误差平方和的大小与观察值的多少有关,为消除观察值多少对误差平方和大小的影响,需要将其平均,这就是均方,也称为方差
2.计算方法是用误差平方和除以相应的自由度
3.三个平方和对应的自由度分别是
▪SST的自由度为n-1,其中n为全部观察值的个数
▪SSA的自由度为k-1,其中k为因素水平(总体)的个数
▪SSE的自由度为n-k
7.构造检验统计量
1.将MSA和MSE进行对比,即得到所需要的检验统计量F
2.当H0为真时,二者的比值服从分子自由度为k-1、分母自由度为n-k的F分布
将统计量的值F与给定的显著性水平的临界值F进行比较,作出对原假设H0的决策
✧根据给定的显著性水平,在F分布表中查找与第一自由度df1=k-1、第二自由度df2=n-k相应的临界值F
✧若F>F,则拒绝原假设H0,表明均值之间的差异是显著的,所检验的因素对观察值有显著影响
✧若F 8.关系强度 1.变量间关系的强度用自变量平方和(SSA)及残差平方和(SSE)占总平方和(SST)的比例大小来反映 2.自变量平方和占总平方和的比例记为R2,即 3、其平方根R就可以用来测量两个变量之间的关系强度 八.简单回归与相关分析 1.相关分析: 对两个变量之间线性关系的描述与度量,它要解决的问题包括 ▪变量之间是否存在关系? ▪如果存在关系,它们之间是什么样的关系? ▪变量之间的强度如何? ▪样本所反映的变量之间的关系能否代表总体变量之间的关系? 2.回归分析: 从一组样本数据出发,确定变量之间的数学关系式;对这些关系式的可信程度进行各种统计检验,并从影响某一特定变量的诸多变量中找出哪些变量的影响显著,哪些不显著;利用所求的关系式,根据一个或几个变量的取值来预测或控制另一个特定变量的取值,并给出这种预测或控制的精确程度 3.回归分析与相关分析的区别 1.相关分析中,变量x变量y处于平等的地位;回归分析中,变量y称为因变量,处在被解释的地位,x称为自变量,用于预测因变量的变化 2.相关分析中所涉及的变量x和y都是随机变量;回归分析中,因变量y是随机变量,自变量x可以是随机变量,也可以是非随机的确定变量 3.相关分析主要是描述两个变量之间线性关系的密切程度;回归分析不仅可以揭示变量x对变量y的影响大小,还可以由回归方程进行预测和控制 4.一元线性回归模型 1.描述因变量y如何依赖于自变量x和误差项的方程称为回归模型 2.一元线性回归模型可表示为 y=0+1x+ ⏹y是x的线性函数(部分)加上误差项 ⏹线性部分反映了由于x的变化而引起的y的变化 ⏹误差项是随机变量 ●反映了除x和y之间的线性关系之外的随机因素对y的影响 ●是不能由x和y之间的线性关系所解释的变异性 ⏹0和1称为模型的参数 5.利用回归方程预测时应注意 1.在利用回归方程进行估计或预测时,不要用样本数据之外的x值去预测相对应的y值 2.因为在一元线性回归分析中,总是假定因变量y与自变量x之间的关系用线性模型表达是正确的。 但实际应用中,它们之间的关系可能是某种曲线 3.此时我们总是要假定这条曲线只有一小段位于x测量值的范围之内。 如果x的取值范围是在xL和xU之间,那么可以用所求出的利用回归方程对处于xL和xU之间的值来估计E(y)和预测y。 如果用xL和xU之间以外的值得出的估计值和预测值就会很差 6.离差平方和 1.总平方和(SST) ⏹反映因变量的n个观察值与其均值的总离差 2.回归平方和(SSR) ⏹反映自变量x的变化对因变量y取值变化的影响,或者说,是由于x与y之间的线性关系引起的y的取值变化,也称为可解释的平方和 3.残差平方和(SSE) ⏹反映除x以外的其他因素对y取值的影响,也称为不可解释的平方和或剩余平方和 7.估计标准误差 1.实际观察值与回归估计值离差平方和的均方根(自由度n-2) 2.反映实际观察值在回归直线周围的分散状况 3.对误差项的标准差的估计,是在排除了x对y的线性影响后,y随机波动大小的一个估计量 4.反映用估计的回归方程预测y时预测误差的大小 九.多元回归 1.多重共线性 1.回归模型中两个或两个以上的自变量彼此相关 2.多重共线性带来的问题有 ⏹可能会使回归的结果造成混乱,甚至会把分析引入歧途 ⏹可能对参数估计值的正负号产生影响,特别是各回归系数的正负号有可能同我们预期的正负号相反 2.多重共线性的识别 1.检测多重共线性的最简单的一种办法
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 应用 统计学 总结