1、多元统计分析方法多元统计分析概述一、 引言 3二、 多元统计分析方法的研究对象和主要容 31. 多元统计分析方法的研究对象 32多元统计分析方法的主要容 3三、 各种多元统计分析方法 31回归分析 32.判别分析 63聚类分析 84主成分分析 105因子分析 106.对应分析方法 117.典型相关分析 11四、 多元统计分析方法的一般步骤 12五、 多元统计分析方法在各个自然领域中的应用 12六、 总结 13参考文献 1415一、引言统计分布是用来刻画 随机变量特征及规律 的重要手段，是进行统计分布的基 础和提高。多元统计分析方法则是建立在 多元统计分布 基础上的一类处理多元统 计数据方法的总
2、称，是统计学中的具有丰富理论成果和众多应用方法的重要分 支。在本文中， 我们将对多元统计分析方法做一个大体的描述， 并通过一部分实 例来进一步了解多元统计分析方法的具体实现过程。二、 多元统计分析方法的研究对象和主要容（一）多元统计分析方法的研究对象由于大量实际问题都涉及到多个变量， 这些变量又是随机变量， 所以要讨论 多个随机变量的统计规律性。 多元统计分析就是讨论多个随机变量理论和统计方 法的总称。 其容包括一元统计学中某些方法的直接推广， 也包括多个随即便量特 有的一些问题，多元统计分析是一类围很广的理论和方法。现实生活中，受多个随机变量共同作用和影响的现象大量存在。 统计分析中， 有两
3、种方法可同时对多个随机变量的观测数据进行有效的分析和研究。 一种方法 是把多个随机变量分开分析，一次处理一个随机变量，分别进行研究。 但是， 这样处理忽略了变量之间可能存在的相关性， 因此，一般丢失的信息太多， 分析 的结果不能客观全面的反映整个问题， 而且往往也不容易取得好的研究结论。 另 一种方法是同时对多个随机变量进行研究分析， 此即多元统计方法。 通过对多个 随即便量观测数据的分析， 来研究随机变量总的特征、 规律以及随机变量之间的 相互关系。所以，多元统计分析是研究多个随机变量之间相互依赖关系及在统计 规律的一门统计学科。（二）多元统计分析方法的主要容近年来，随着统计理论研究的不断深
4、入， 多元统计分析方法的容一直在丰富。 其中，主要容包括多元正态总体参数估计、 假设检验和常用的多元统计方法。 多 元正态总体参数估计、 假设检验是多元统计推断的核心和基础， 而常用的多元统 计分析方法则是具体应用。从形式上，常用多元统计分析方法可划分为两类：一类属于单变量常用的统计方法在多元随机变量情况下的推广和应用， 如多 元回归分析，典型相关分析等；另一类是对多元变量本身进行研究所形成的一些特殊方法。如主成分分析， 因子分析，聚类分析，判别分析，对应分析等。三、各种多元统计分析方法具体来说，常用的多元统计分析方法主要包括：多元回归分析、聚类分析、 判别分析、主成分分析、因子分析、对应分析
5、、典型相关分析等。下面我们对各 种多元统计分析方法就行分别描述，（一） 回归分析回归分析是最灵活最常用的统计分析方法之一， 它用于分析一个因变量与一 个或多个自变量之间的关系。特别是用于： （1）定量的描述和解释相互关系； （2） 估测或预测因变量的值。回归分析方法是在众多的相关变量中， 根据实际问题考察其中一个或多个变 量与其余变量的依赖关系。 如果只要考察一个变量与其余多个变量之间的相互依赖关系，我们称为多元回归问题。 若要同时考察多个因变量与多个自变量之间的相互依赖关系，我们称为多因变量的多元回归问题。多元回归分析是研究因变量 丫与m个自变量Xi, X2,丐Xm的相关关系，而且总是假设因
6、变量丫为随机变量，而Xi, X2, Xm为一般变量。 下面我们来看一下多元线性回归模型的建立。假定因变量丫与X|, x2, Xm线性相关。收集到的n组数据(yt,Xti,Xt2,L , Xtm) (t=1,2,n)满足以下回归模型:yt 0 1 Xt1 + mXtm t (t 1,2,L n)E( t) O,Var( t) 2,Cov( i, j) 0(i j)或 tN(0, 2),相互独立(t=1,2, L n).记i Xii K XimC= M O M (in MX)丫 C ,2E( ) 0n ,D( ) 2I丫 C ,Nn(0, 2In ),并称它们为经典多元回归模型, 其中丫 是可观测
7、的随机向量, 是不可观测的随机向量，C是已知矩阵，2是未知参数，并设nm，且rank(C)=m+1。在经典回归分析中, 我们讨论模型中参数 ( 0, i,L , m) 和 2的估计和检验问题。 近代回归分析中讨论变量筛选、 估计的改进， 以及对模型中的一些假设 进行诊断等问题。我国国生产总值与基本建设投资额的大小有密切关系， 研究发现两变量之间存在线性关系。根据省1990-2003年的国生产总值与基本建设投资额数据，研究 它们的数量规律性， 探讨省基本建设投资额与国生产总值的数量关系， 原始数据见下表。年份GDP（亿元）基本建设投资（亿元）1990242.829.041991271.3933.
8、961992317.7939.221993372.2442.891994451.6658.191995553.3562.621996714.18101.421997781.34121.741998869.75157.141999931.98187.492000983.36208.2820011072.51228.6320021161.43263.0620031304.6307.3利用excel进行分析，具体输出以下数据，平方和自由度方差F检验值回归1553189.711553189.7残差59475.667124956.3056313.3765001离差1612665.413复相关系数 R =
9、.5333剩余标准差 SY =70.48回归方差与剩余方差之比 F =313.3各个自变量的t检验值17.70244334t检验的自由度 N-P-1 =12F检验的自由度第一自由度=1,第二自由度=12各个自变量的偏回归平方和1553189.7各个自变量的偏相关系数0.981386594由输出结果，得以下结论：回归方程为 丫=232.70+3.68捲其中，负相关系数为R2 = 0.9814，说明回归方程拟合优度较高。而回归系数的t=17.7024,查t分布表to25（12） 2.1788，小于t值，因此回归系数显著。查 F分布表，Fo.o5（1,12） 4.75,由下表知，F=313.3765
10、4.75,因此回归方程也显著。平方和自由度方差F检验值回归1553189.711553189.7313.3765001残差59475.667124956.3056离差1612665.413（二）判别分析判别分析是多元统计分析中用于判别样品所属类型的一种统计分析方法， 是 一种在已知研究对象用某种方法已经分成与若干类的情况下， 确定新的样品属于 哪一类的多元统计分析方法。判别方法处理问题时，通常通常要给出用来衡量新样品与各已知组别的接近 程度的指数，即判别函数，同时也指定一种判别准则，借以判别新样品的归属。 所谓判别准则是用于衡量新样品与各已知组别接近程度的理论依据和方法准则。 常用的有，距离准
11、则、Fisher准则、贝叶斯准则等。距离判别的基本思想是：样 品和那个总体距离最近，就判断它属于哪个总体。距离判别也称直观判别。已知有两个类G和G2，比如G是设备A生产的产品，G2是设备B生产的同类产品。设备A的产品质量高（如考察指标为耐磨度X），其平均耐磨度 =80,反映设备精度的方差反映设备精度的方差12 =0.25；设备B的产品质量稍差，其平均耐磨度 2=75,；=4。今有一产品X。，测得耐磨度X0=78，试判断该产品是哪一台设备生产的?因为d2（xo）=1.5v4=d1（x。），按这种距离准则应判X。为设备B生产的。此例中,=79， =81.6667。而按这种距离最近法则的判别法为:（
12、X （2）2仑厂L（即2（x （2）2小2 -（即 X2（X （1）2 判X G，当厂Li（X ）2 判X G2,当（X 2丿1为了区分小麦品种的两种不同的分蘖类型，用 X1,X2,X3三个指标求其判别函数。经验样品中，第一类取11 （主茎型）个样品，第二类（分蘖型）取 12个样品，数据如下表所示由表计算得X-X=(-0.2742, -0.882, -4.7096)T ,X = = (0.8462,3.8287,12.1293)0.56240.18210.8355Lxx =:L+L:XX XX=0.282115.516032.30140.835532.3014126.23741.79780.0
13、1690.0076s1121Lxx 210.01690.13810.03520.00760.03520.01701(X)-（XX(2)TS1(XX)x1 0.846221= (0.4425,0.0486, 0.0468) x2 3.82862x3 12.1295用(X)对经验样本的23个样品进行判别有如下结果：第一类的 11个样本中有10个判别为第一类，一个判别为第二类；第二类的12个样品全部判别为第二类，符合率为22/23=96%。例如，第一类第一个样品 X1(1)= (0.71,3.80,12.00) T，则(X1(1) =0.68190,则X1G1 (第一类)。又如，第一类的第11个样品
14、X1(；)= (1.00,4.50,12.00)t， (X) =-0.30830,故 X G2 (第二类)。将(X )投入使用，可判别小麦品种的分蘖类型，如测得某小麦品种人1,X2 3.43 , X3 16.25,则由(X) =-2.91280判别该品种为分蘖型。(3)聚类分析聚类分析是将样品或变量按照它们在性质上的亲疏程度进行分类的多元统 计分析方法。聚类分析时，用来描述样品或变量的亲疏程度通常有来两个途径， 一是把每个样品或变量看成是多维空间上的一个点， 在多维坐标中，定一点与点，类和类之间的距离，用点与点间距离来描述样品或变量之间的亲疏程度： 另一个是计算样品或变量的相似系数，用相似系数
15、来描述样品或变量之间的亲属程度。聚类分析是实用多元统计分析的一个新的分支，聚类分析的功能是建立一种 分类方法，他将一批样品或变量，按照它们在性质上的亲疏、相似程度进行分类。聚类分析的容十分丰富，按其聚类的方法可分为以下几种：(1)系统聚类法：开始每个对象自成一类，然后每次将最相似的两类合并，合并后重新计算新类与其他类的距离或相近性测度。 这一过程可用一谱系聚类图描述。(2)调优法(动态聚类法)：首先对n个对象初步分类，然后根据分类的损失 函数尽可能小的原则对其进行调整，直到分类合理为止。(3)最优分割法(有序样品聚类法)：开始将所有样品看做一类，然后根据某种最优准则将它们分割为二类、三类，一直
16、分割到所需的 K类为止。这种方法适用于有序样品的分类问题，也称为有序样品的聚类法。(4)模糊聚类法：利用模糊集理论来处理分类问题，它对经济领域中具有模 糊特征两态数据或多态数据具有明显的分类效果。(5)图论聚类法：利用图论中最小支撑树的理论来处理分类问题，创造了独 具风格的方法。(6)聚类预报法：利用聚类方法处理预报问题，在多元统计分析中，可以用来做预报的方法很多，如回归分析和判别分析。但对一些异常数据，如气象中的 灾害性天气的预报，使用回归分析或判别分析处理的效果都不好， 而聚类预报弥 补了这一不足，只是一个值得重视的方法。聚类分析根据对象的不同又分为 R型和Q型两大类，R型是对变量(指标)
17、 进行分类，Q型是对样品进行分类。R型聚类分析的目的有以下几方面：（1） 可以了解变量间及变量组合间的亲疏关系；（2） 对变量进行分类；（3） 根据分类结果及它们之间的关系，在每一类中选择有代表性的变量作为重要变量，利用少数几个重要变量进一步作分析计算，如进行回归分析或 Q型聚类分析等。Q型聚类分析的目的主要是对样品进行分类。分类的结果是直观的，且比传 统的分类方法更细致、全面、合理。当然使用不同的分类方法通常有不同的分类 结果。对任何观测数据都没有唯一 “正确”的分类方法。实际应用中，常采用不 同的分类方法，对数据进行分析计算，一边对分类提供具体意见，并由实际工作 者决定所需要的分类数及分类
18、情况。下面是聚类分析的一个简单例子。有五个样品，每个只测量了一个指标，分 别为1,2,6,8,11我们用最短距离法将它们分类。（1）计算五个样品两两间的距离，得初始类间的距离矩阵 D（o），G1G2G3G4G5G10G210G3540G47620G5109530由D（o）知类间最小距离为1，于是将G和G2合并成G6，并计算G6和其他类之间的距离，的新的距离阵D（1）G6G3G4G5G60G340G4620G59530由D（1）知，类间最小距离为2,合并Ga和G4为G7，计算G7与其他类间的距离得矩阵。,G6G7G5G60G740G5930由D（2）知，类间的最小距离为3,将G5和G7合并为G8
19、 ,得新的距离矩阵D（3）,G60G604G8（5）最后将G6和G8合并为G9，这时五个样品聚为一类（四） 主成分分析主成分分析是采取一种数学降维的方法，找出几个综合变量来代替原来众多 的变量，是这些综合变量尽可能的代表原来变量的信息，而且彼此之间互不相关。 这种把多个变化量化为少数几个互相无关的综合变量的统计分析方法就叫做主 成分分析或主分量分析。主成分分析所要做的就是设法将原来众多具有一定相关性的变量， 重新组合为一组新的相互无关的综合变量来代替原来变量。 通常，数学上的处理方法就是 将原来的变量做线性组合，作为新的综合变量，但是这种组合如果不加以限制， 则可以有很多，应该如何选择呢？如果
20、将选取的第一个线性组合即第一个综合变 量记为Fi，自然希望它尽可能多的反映原来变量信息，这里信息用方差来测量，即希望Var（Fi）越大，表示Fi包含信息越多。因此在所有线性组合中所选取的 R应 该是方差最大的，故称Fi为第一主成分。如果第一主成分不足以代表原来 p个变 量的信息，再考虑选取F2即第二个线性组合，为了有效地反映原来信息， Fi已 有的信息就不需要再出现在F2中，用数学语言表达就是要求Cov（Fi, F2）=0，称F2 为第二主成分，以此类推可以构造出第三、四第 p个主成分。（五） 因子分析因子分析是主成分分析的推广和发展，它是由研究原始数据相关矩阵的部依 赖关系出发，把一些具有错
21、综复杂关系多个变量（或样品）综合为少数几个因子， 并给出原始变量与综合因子之间相关关系的一种多元统计分析方法。 它也属于多 元分析中数据降维的一种统计方法。因子分析是通过变量（或样品）的相关系数矩阵部结构的研究，找出存在于 所有变量（或样品）中具有共性的因素，并综合为少数几个新变量，把原始变量 表示成少数几个综合变量的线性组合，以再现原始变量与综合变量之间的相关关 系。其中，这里的少数几个综合变量一般是不可观测指标，通常称为公公因子。因子分析常用的两种类型：一种是 R型因子分析，即对变量进行因子分析： 另一种叫做Q型因子分析，即对样品进行的因子分析。（六）对应分析方法对应分析又称为相应分析，是
22、一种目的在于揭示和样品之间或者定性量资料 中变量与其类别之间的相互关系的多元统计分析方法。对应分析的关键是利用一种数据变换，使含有p个变量n个样品的原始数据矩阵， 变换成为一个过渡矩阵Z,并通过矩阵Z将R型因子分析和Q型因子分析有机 的结合起来。具体地说，首先给出进行R型因子分析时变量点的协差阵 A=ZZ和 进行Q型因子分析时样品点的协差阵 B= ZZ，由于ZZ和ZZ有相同的非零特征 根，记为i 2 L m,0 m min（ p, n）依据证明，如果A的特征根i对应的特征向量为Ui，则B的特征根i对应的特征向量就是ZUi Vi，根据这个结论就可以很方便的借助 R型因子分析而得到Q型因子分析的结
23、果。因为求出 A的特征根和特征向量后很容易地写出变量点协差阵对应的因子载何矩阵,记为F。则U ii1U12 2 Lu1m 1F=U2lJ 1MJu22、2 LMU2m . 1MU pl 1U p2 2 LU pm*m这样，利用关系式ZUi Vi也很容易地写出样品点协差阵 B对应的因子载荷 阵，记为G。贝U从结果的展示上，由于 A和B具有相同的非零特征根，而这些特征根正是公共因子的方差，因此可以用相同的因子轴同时表示变量点和样品点， 即把变量点和样品点同时反映在具有相同坐标轴的因子平面上，以便显示出变量点和样品点 之间的相互关系，并且可以一并考虑进行分类分析。（七）典型相关分析在经济问题中，不仅
24、经常需要考察两个变量之间的相关程度，而且还经常需 要考察多个变量与多个变量之间即两组变量之间的相关系。 典型相关分析就是研 究两组变量之间相关程度的一种多元统计分析方法。典型相关分析是研究两组变量之间相关关系的一种统计分析方法。 为了研究 两组变量Xi,X2丄Xp和丫1,匕丄Yq之间的相关关系，采用类似于主成分分析的方 法，在两组变量中， 分别选取若干有代表性的变量组成有代表性的综合指数， 通 过研究这两组变量之间的相关关系， 来代替这两组变量之间的相关关系， 这些综 合指数称为典型变量。此外，多元统计分析方法还有方差分析、偏最小二乘回归分析、逻辑分析、 联合分析等，我们就不做一一介绍了。四、
25、多元统计分析方法的一般步骤与一般统计分析方法一样， 多元统计分析方法也要经过建立模型、 进行参数 估计、假设检验以及预测控制等步骤。以经济统计为例，具体步骤是：1、 根据经济理论进行定性分析，设计理论模型；2、 对实际经济活动的现象抽取样本，并取得样本统计资料；3、 对描述样本的指标利用多元统计分析方法进行统计分析， 选择最佳的统计 指标；4 根据最佳指标的样本数据，估计参数，建立数量模型模型；五、多元统计分析方法在各个自然领域中的应用多元统计分析是解决实际问题的有效的数据处理方法， 其应用围非常广泛。 多元统计分析方法可以应用于地质科学、气象科学、医疗卫生、体育、语言学、 考古学、教育学、心
26、理学以及经济学、管理学等各个方面。下面我们以经济学和 管理学为例，了解一下多元分析方法在其中的作用和应用的场合与领域：1、简化数据结构。对多个变量进行降维处理， 选择数目较小的变量子集合。 在商业经济中， 为 了能够全面刻画所研究对象的数量特征， 往往要调查多方面的统计数据。 数据维 数越多， 反映问题越全面， 但同时也给数据分析带来困难。 这是句要用降维的方 法将很复杂的数据综合成商业指数形式，处理方法主要有主成 分分析、因子分析和对应分析等。2、 对研究对象进行分类与判别。比如根据各地区的经济发展水平、 经济发展特征对我国各地区的经济发展类 型进行划分，需要通过反映各地区经济情况的多项数据
27、测算各地区经济发展的相 似度，并以对各地经济类型此进行划分和归类。 用来处理这一问题的多元统计方 法主要是聚类分析、判别分析等。3、 建立经济模型。 经济模型一般是指把经济变量之间的依存关系通过通过数学表达形式加以模拟。例如根据我国几十年来财政收入与国民收入、工农业总值、人口、就业人 口、固定投资等相关因素， 利用回归方法建立预测模型， 对今后的财政收入进行 预测。4、研究经济现象之间的相互关系。 当我们研究两组变量之间的相关程度时，只用简单直线相关系数是不够的， 在多元统计分析中， 用典型相关分析可以处理两组变量之间的相关程度的分析和 测算。有一点需要特殊说明，由于现实问题的复杂性和每种多元
28、分析方法特殊的应 用场合和自身的局限性，所以在处理问题时有必要将各种多元分析方法结合运 用。六、总结经过 20 世纪的空前发展，数学的基本理论更加深入和完善，而计算机技术 的发展使得数学的应用更加广泛和直接， 多元统计分析方法已经广泛的应用到社 会科学和自然科学的许多领域， 尤其在经济方面根是发挥了巨大的作用。 通过本 文的描述可以使大家简单了解多元统计分析方法， 从而更好的掌握和运用多元分 析方法。任何定量分析方法在研究现实问题时只是揭示了这种问题表面的数量规 律，所以在应用多元统计分析时， 我们必须注意定量分析与定性分析相结合。 只 有两者的有机结合才能得出深刻的符合实际的结论。参考文献尧
29、庭，方开泰等著多元统计分析引论 ：科学， 1982 高惠璇应用多元统计分析 ：大学， 2005 1 周光亚等多元统计方法 ：大学， 1988.12 于秀林等编著多元统计分析 ：中国统计， 1999 王学仁，王松桂编译实用多元统计分析 ：科学技术， 1990Richard A Johnson， Dean W Wichern Applied MultiVariate Statistical Analysis4th Edition Englewood Cliffs ，N J：PrenticeHall，Inc，1998 何晓群，现代统计分析方法与应用 M. ：中国人民大学， 1998 王学民编著应用多元统计分析第二版财经大学 ,1999在此论文完成之际我首先要衷心感我的导师齐海涛老师。本学位论文是在 齐老师的精心指导下完成的。齐老师时刻关心我找我知识的情况及论文的进展， 帮助我开阔思路、精心点拨、热忱鼓励。每当我遇到问题、毫无头绪时，与考试 的讨论总能让我豁然开朗： 老师思考问题的方法、 观察问题的角度， 给了我很大 启发。齐老师渊博的知识理论、 深邃的思维方式都给我留下了深刻的印象， 永远 是我学习的榜样。其次还要感大学四年中的每一位老师对我的
