1、 （Validity）第一节 效度概述第一节 效度概述第二节 第二节 效度的估计效度的估计第三节 第三节 提高测量效度的方法提高测量效度的方法第四节 第四节 效度的应用效度的应用第一节 效度概述第一节 效度概述一、效度所要回答的问题一、效度所要回答的问题二、效度的含义二、效度的含义三、效度与信度的关系三、效度与信度的关系一、效度所要回答的问题信度：信度：2X2E22T XSS1XXSSr)96SE.1X(T)96SE.1X(减少随机误减少随机误差，就能获差，就能获得比较一致得比较一致的结果的结果效度所要回答的问题：效度所要回答的问题：（1 1）测验测量的是什么东西）测验测量的是什么东西?或者说
2、，测或者说，测验测到了它要测的东西吗验测到了它要测的东西吗?（2 2）测验对它所测量的东西测量到什么程）测验对它所测量的东西测量到什么程度度?SX=ST+SESX=SV+SI+SE随机随机误差误差有效方差有效方差SV系统误差系统误差SI222YXVXSSr与测验目的有关的与测验目的有关的有效有效 SV2和实得和实得 SX2 的比值的比值效度效度二、效度定义二、效度定义二、效度定义二、效度定义SX=SV+SI+SE1。效度定义。效度定义效度就是效度就是一个测验一个测验对其所要对其所要测量的特测量的特性测量到性测量到什么程度什么程度的估计。的估计。2。效度的性质。效度的性质（1）效度是针对测验结果
3、的（2）效度是针对某种特定的测验目的的（3）效度只有程度上的差别 只有程度上的差别，没有全或无的差别。（4）效度是测量的随机误差和系统误差的综合反映（5）判断一个测量是否有效要从多方面搜集证据三、效度与信度的关系三、效度与信度的关系 根据公式根据公式 S2X=S2V+S2I+S2E，可以得到信度与效度的关系如下，可以得到信度与效度的关系如下：1 1、信度高是效度高的必要而非充分、信度高是效度高的必要而非充分条件条件2 2、测验的效度受它的信度制约、测验的效度受它的信度制约2222EIVXSSSSSE，ST，rxx信度高，给 信度高，给 SV 增加提供可能增加提供可能能否提高效度，再看能否提高效
4、度，再看 SI大小大小信度高不一定效度高信度高不一定效度高效度要高，效度要高，SV须占较大比重，须占较大比重，ST效度高，信度必高效度高，信度必高ST2信效度关系信效度关系信效度关系信效度关系SE2SI2SV2SE2SI2SV2SE2SI2SV2ST2SX2ST2SX2ST2rxy rxx rxy rxx rxy rxx SX22.测验的效度受它的信度制约测验的效度受它的信度制约信度系数的平方根是效度系数的最高界限根据效度和信度的定义（r2xy=SV/SX，rxx=ST/SX）以及 ST=SV+SI可得 r2xy=（ST-SI）/SX=rxx-SI/SX）SI0 r2xy rxx第二节 效度的
5、估计第二节 效度的估计 要确定测验在解决某方面问题时的效度，需要收集充分的客观事实材料和证据，这种收集大量资料和证据来检验测验效度的工作过程就叫做效度验证。1966 年美国心理学会在年美国心理学会在教育心理测验值标准教育心理测验值标准中将效度分为三大中将效度分为三大类：类：1 内容效度（内容效度（Content Validity）内容效度指测验实际测到的内容效度指测验实际测到的内容内容与所要测量的与所要测量的内容内容之间的之间的吻合程度。吻合程度。2 结构效度结构效度(Construct Validity)结构效度是指测验对于被称作构想的某一理论概念或特质结构效度是指测验对于被称作构想的某一理
6、论概念或特质测量的程度。测量的程度。3 实证效度实证效度(Criterion related Validity)实证效度是指一个测验对处于特定情景中的个体的行为进实证效度是指一个测验对处于特定情景中的个体的行为进行估计的有效性行估计的有效性一、内容效度一、内容效度定义：定义：内容效度指测验实际测到的内容与所要测量的内容之间的吻合程度。适用于适用于成就测验、选拔和分类的职业测验，不适于不适于能力倾向测验和人格测验。注意与表面效度的区分相信你的临床判断；临床能力；提供预想的照顾；3 3、临、临床专业床专业技术技术显示主动倾听的技能；不是以恩人的态度出现；在方法上有信心；2 2、沟、沟通技巧通技巧形
7、成使病人安全的气氛；严肃地对待病人，对其医疗保密；快速理解病人的情绪和心情；1 1、同情、同情心及敏心及敏感性感性积极的行为指标积极的行为指标能力能力医生职业要求医生职业要求医生职业要求医生职业要求内容效度与表面效度的区别内容效度与表面效度的区别 （1）表面效度是由）表面效度是由外行外行对测验做表面上对测验做表面上的检查确定的，而内容效度是由够资格的判断者的检查确定的，而内容效度是由够资格的判断者（专家专家）详尽地、系统地对测验评价而建立的。）详尽地、系统地对测验评价而建立的。例如，例如，MMPIMMPI 中有这样的题目：中有这样的题目：“我的喉咙里总好象有一块东西堵着似的。”“我的喉咙里总好
8、象有一块东西堵着似的。”（2）表面效度不是效度的）表面效度不是效度的客观指标，但客观指标，但能对受测者的动机产生影响，因而也会影响能对受测者的动机产生影响，因而也会影响到效到效度。度。最高行为测验要求有较高的表面效最高行为测验要求有较高的表面效度，典型行为测验却要求较低的表面效度。度，典型行为测验却要求较低的表面效度。内容效度的评估方法内容效度的评估方法1、逻辑分析法、逻辑分析法2、统计分析法统计分析法3、再测法、再测法含义含义 专家按测题和假设内容范围作出的符合度判断专家按测题和假设内容范围作出的符合度判断作法与程序作法与程序 明确欲测内容的范围明确欲测内容的范围 与双向细目表对比；与双向细
9、目表对比；制定评定量表；制定评定量表；局限局限 无良好的数量指标描述这种符合性的程度；无良好的数量指标描述这种符合性的程度；不同专家对同一测验内容效度的判断可能不一致；不同专家对同一测验内容效度的判断可能不一致；不同专家对内容范围会有不同的理解不同专家对内容范围会有不同的理解内容效度的评估方法内容效度的评估方法1、逻辑分析法、逻辑分析法双双向向细细目表目表（举例）（举例）一、教一、教学目标学目标(以橫以橫轴轴表示表示)以以 Bloom 所提的所提的认认知知领域领域六六个教学目标为个教学目标为依依据据：知：知识识、理、理解、解、应应用、分析、用、分析、综综合、合、评价评价。二、教材內容二、教材內
10、容(以以纵轴纵轴表示表示)以出以出题的范围题的范围，表示出包含，表示出包含几个不同的单元几个不同的单元。以台湾学校教育文科为以台湾学校教育文科为例例1008814202228总和总和22222646散文散文26224468新诗新诗24224646文言文文言文28224488唐诗唐诗总和总和评评价价综综合合分分析析应应用用理理解解知识知识信度指标信度指标复本信度复本信度r 高：内容效度高：内容效度r 低：至少一个缺乏内容效度低：至少一个缺乏内容效度 3、再测法、再测法前测 后测前测 后测2、统计分析法、统计分析法复本复本 1复本复本 2被试团体被试团体被试经过预测知识的教学被试经过预测知识的教学
11、内容效度的评价内容效度的评价 内容效度不但是评价学绩测验的最适合的方法，而且编制任何测验都要加以考虑的方面。它的主要缺点是缺乏理想的数量指标，因而妨碍了信息交流和各测验间的相互比较。返回第十章二、结构效度二、结构效度（一）定义：（一）定义：结构效度结构效度是指一个测验实际测到所要是指一个测验实际测到所要测量的理论结构或特质的程度。测量的理论结构或特质的程度。构想或结构构想或结构是指是指用来解释人类行为的理论框架或心理特质，它是用来解释人类行为的理论框架或心理特质，它是心理学中抽象的假设性的概念、特性或变量，例心理学中抽象的假设性的概念、特性或变量，例如：智力、创造力如：智力、创造力、动机以及焦
12、虑动机以及焦虑等。等。主要用于主要用于智力测验、人格测验智力测验、人格测验返回第十章（二）验证结构效度的方法（二）验证结构效度的方法假设我们要检验一个假设我们要检验一个适应行为适应行为测验的结构效度测验的结构效度1。寻找测验依据的理论定义：。寻找测验依据的理论定义：全美智力落后协会（AAMD）对适应行为的定义是：个体实现人们所期待的与其年龄和文化群相适应的个人独立与社会职责的程度和功效。2。根据理论定义提出假设：。根据理论定义提出假设：比如，随着年龄增长，适应行为得分应逐步提高；弱智儿童和正常儿童相比，前者的适应行为显著弱于后者；儿童的适应行为表现与其所处的社会经济、文化背景有关。3。搜集资料
13、，验证假设。搜集资料，验证假设 结构效度无单一的效度指标，要从多方面的资料来源，经过长期的、艰苦的搜集和积累证据资料的过程，才能逐步验证测验的结构效度。常用于搜集结构效度资料的方法有如下几种。1 1、测验内部寻找证据法、测验内部寻找证据法2 2、测验之间寻找证据法测验之间寻找证据法3 3、考察测验的实证效度法考察测验的实证效度法4 4、多种特质多种特质多种方法矩阵多种方法矩阵5 5、发展水平的变化发展水平的变化6 6、实验操作实验操作（三）搜集结构效度资料的方法（三）搜集结构效度资料的方法1 1、测验内部寻找证据法、测验内部寻找证据法（1）确定）确定内容效度内容效度作为结构效度的证据作为结构效
14、度的证据 例如，编制语文能力测验时，编制者将例如，编制语文能力测验时，编制者将总体内容描述为总体内容描述为对词汇下定义对词汇下定义、对语言做类比推理对语言做类比推理、以及以及在句子中正确运用文字在句子中正确运用文字的能力，这在实际上就是的能力，这在实际上就是给“语文能力”的构想下了定义。给“语文能力”的构想下了定义。（2）分析被试的答题过程）分析被试的答题过程 例如，在人格测验上有这样一些题目：例如，在人格测验上有这样一些题目：“当事情不顺我意时，我时常动怒。”“我总避免批“当事情不顺我意时，我时常动怒。”“我总避免批评别人的言行。”评别人的言行。”（3）通过计算测验的同质性信度来检验结构效度
15、）通过计算测验的同质性信度来检验结构效度2 2、测验之间寻找证据法、测验之间寻找证据法（1）相容效度）相容效度（2）区分效度区分效度（3）因素分析因素分析 此方法特点是此方法特点是同时考虑几个测验间同时考虑几个测验间的相互关联，考察这的相互关联，考察这些测验是否在测量同些测验是否在测量同一心理结构。一心理结构。（1 1）相容效度）相容效度含义含义 测相同结构的各种测验间应有较高的相关。测相同结构的各种测验间应有较高的相关。求一个新编测验与另一已知结构测验间的相关。求一个新编测验与另一已知结构测验间的相关。斯坦福比奈量表、韦氏智力测验是世人公认有效的智力测验，后人编的智力测验大多与此量表作比较，
16、如果相关高，便说明新编测验有效。（2 2）区分效度）区分效度含义含义 新编测验的分数与已知测量不同结构的测验分新编测验的分数与已知测量不同结构的测验分数的相关数的相关 若相关高，说明新测验的效度有问题若相关高，说明新测验的效度有问题已知：瑞文标准推理测验已知：瑞文标准推理测验新编：道德感测验新编：道德感测验3）因素分析 19041904 年，英国心理学家斯皮尔曼发表专题年，英国心理学家斯皮尔曼发表专题论文论文客观决定和测量一般智力客观决定和测量一般智力，用因素分，用因素分析的技术研究智力结构，并提出智力的二因素析的技术研究智力结构，并提出智力的二因素论，这也标志着因素分析方法的诞生。论，这也标
17、志着因素分析方法的诞生。运用这一方法心理学家们先后提出了多种运用这一方法心理学家们先后提出了多种智力理论。如：桑代克的多因素论，瑟斯顿群智力理论。如：桑代克的多因素论，瑟斯顿群因素论和吉尔福特智力理论等等。因素论和吉尔福特智力理论等等。基本原理基本原理 一种多变量统计分析方法。根据相关性大小把变量分组，使得同组内的变量间相关较高，不同组变量间的相关较低；每组变量聚合成群，即因素（又称潜变量）。意义意义 找出变量间内在本质联系的一种多元统计方法。通过缩减变量的方法，用反映变量本质联系的少数几个基本因素（或公共因素）来说明先前需要用较多变量才能说明的原因或特性。100 名学生在名学生在 9 个不同
18、学科间的相关系数个不同学科间的相关系数两个假想测验的因素效度及其变异来源0.150.260.090.490.010.850.300.700.10乘法乘法0.100.080.360.300.160.900.600.550.4算术推算术推理理误差误差特殊特殊推理推理数字数字言语言语推理推理数字数字言语言语作用比例作用比例信度信度系数系数共同因素负荷共同因素负荷测验测验3、考查测验的实证效度法其一，根据效标把人分成两类，考查其得分。其二，根据测验得分把人分成高分组和低分组，考察这两组人在所测特质方面是否确有差异。（4）多种特质多种方法矩阵法坎贝尔和费司克（坎贝尔和费司克（1959）实质上是相容效度法
19、和区分效度法的综合运用原理是若用多种极不相同的方法测量同一种特质相关很高，则说明测量效度较高（相容效度即属此类）。从理论上看，测验的结果应与其所要测的特质有显著相关而与其他不相干的特质无关。以相同方法测量相同特质所得的分数之间应具有最大的相关，以不同方法测量相同特质所得的分数之间应具有次大的相关，以相同方法测量不同特质所得的分数之间的相关应较低，以不同方法测量不同特质所得的分数之间的相关应最低。若合乎上述的情形，即表示这套测验同时兼有相容效应和区分效度，这是考验构想效度的新途径。言语言语测验测验操作操作测验测验教师教师评定评定语文语文理解理解数学数学推理推理一般一般常识常识资料来自于 M os
20、her（1968）的一项研究报告，他假设了三种不同结构，名为“性罪恶感”、“敌对罪恶感”和“道德良心”，使用了是非判断、迫选和完成句子多种测验方法对 62名女性被试样本施测。一个测验要有效必须具备以下几点：一个测验要有效必须具备以下几点：1）效度系数显著地大于）效度系数显著地大于 0，即同一特质的各种不同测，即同一特质的各种不同测量应有正相关；量应有正相关；2)以不同方法测量同一特质的相关必须高于不同的特质以不同方法测量同一特质的相关必须高于不同的特质用同一方法来测的相关。也就是说，特质的差异必须比方用同一方法来测的相关。也就是说，特质的差异必须比方法的差异更重要；法的差异更重要；3)效度系数
21、必须高于不同特质用不同方法测量所得之相效度系数必须高于不同特质用不同方法测量所得之相关。关。其他考察结构效度的方法（5）发展水平的变化）发展水平的变化 许多智力量表的效度验证都使用了智力的年龄差异这一特点。（6）实验操作）实验操作 根据不同测验具有不同的特性，我们可以预期经过某种实验处理之后将会发生哪些变化，以此推测测量某个心理结构的测验的结构效度。比如说，我们可以预期，将某个人放在容易产生焦虑的环境中，其焦虑测验得分会有所变化。如果预期得到证实，就说明这个测验有结构效度。这种方法实际是要比较实验处理前后测验得分的差异。对结构效度的评价对结构效度的评价 结构效度是个有争议的概念。结构效度是个有
22、争议的概念。优点：其贡献在于把着眼点放在提出假设、检验假设上，因此使心理测验不再只是作实际决定的辅助工具，同时还成为发展心理学理论的重要工具，从而使测验有了更广阔的发展前景。缺点：有些构想概念模糊，缺乏一致的定义。确定效度时没有明确的操作步骤与程序。结构效度是通过对测验测量什么、不测量什么的证据加以积累确定的，因而没有单一的数量指标来描述有效的程度。三、实证效度三、实证效度 （一）实证效度的含义、种（一）实证效度的含义、种类及作用类及作用 定义：实证效度是指一个测验对处于特定情景中的个体的行为进行估计的有效性。也称为效标关联效度。被估计的行为是检验测验效度的标准，简称效标。根据效标资料搜集的时
23、间差异，实证效度可以分成同时效度和预测效度两种。有人把二种效度都称为预测效度，并把测验称作预测源。相容效度可相容效度可看做是同时看做是同时效度的一种效度的一种 （二）效标（二）效标 效标就是衡量一个测验是否有效的外在标准，它是独立于测验并可以从实践中直接获得我们所感兴趣的行为。需注意的知识点：观念效标 效标测量 效标的特性：多样性、复杂性、特殊性和时间性在测验手册中报告实证效度时在测验手册中报告实证效度时，不但要说明使用说明作为效，不但要说明使用说明作为效标，还要说明这些效标来自说标，还要说明这些效标来自说明团体。明团体。效标污染 效标污染效标污染是指由于评定者知道被试是指由于评定者知道被试测
24、验的原分数而使被试的效标分数受到影响的情测验的原分数而使被试的效标分数受到影响的情况。况。最好的预防方法是不让评分者看到原来测验的分数，保证效标分数和原测验分数的独立性。各类测验的可用效标各类测验的可用效标主试主观标准，被试以后行为，临床资料 主试主观标准，被试以后行为，临床资料 人格人格从业者的实际成绩或工作表现从业者的实际成绩或工作表现职业兴趣职业兴趣特殊课程或训练成绩，工作或学习成绩特殊课程或训练成绩，工作或学习成绩能力倾向能力倾向学科成绩，教师评定结果，学生总成绩学科成绩，教师评定结果，学生总成绩智力智力学年平均分，教师评定结果，学习量，知识应用力，评判学年平均分，教师评定结果，学习量
25、，知识应用力，评判知识的批判力，自学能力知识的批判力，自学能力成就成就常 见 效 标常 见 效 标测验类型测验类型（三）实证效度的确定方法：（三）实证效度的确定方法：步骤：步骤：明确观念效标；明确观念效标；确定效标测量；确定效标测量；考查测验分数与效标测量的关系。考查测验分数与效标测量的关系。（三）实证效度（效标关联效度）的确定方法（三）实证效度（效标关联效度）的确定方法1。相关法。相关法 最常用来建立实证效度的方法是求测验分数与效标测量间的相关。在测验手册中，一般用它来报告测验对每种效标的效度。2。区分法区分法3。命中率命中率4。功利率功利率（1 1）积差相关系数）积差相关系数 当预测分和效
26、标分都是连续变量时，可采用当预测分和效标分都是连续变量时，可采用积差相关系数的计算方法来求得测验的效度系数。积差相关系数的计算方法来求得测验的效度系数。例：假设有 10名男性经职业兴趣测验而被选定作为推销员，其测验分数下表第一行，而第二行是经过若干年后他们某段时间内销售金额总量(以万元为单位)。现问该测验的预测效度如何?75.0/2222nYYnXXnYXXYrxy，可得把表中的数据代入公式（2 2）二列相关系数）二列相关系数 当当 X 与与 y 两个常态连续变量中有一两个常态连续变量中有一个变量由于某些理由被个变量由于某些理由被人为地分为两个类别人为地分为两个类别，如，如，考试成绩的通过与失
27、效，学校分为重点和非重，考试成绩的通过与失效，学校分为重点和非重点等，点等，而另一变量为连续变量时而另一变量为连续变量时，计算出的相关，计算出的相关系数就叫二列相关系数。系数就叫二列相关系数。在效度系数的计算中，通常是把效在效度系数的计算中，通常是把效标变量分为两类，而预测变量仍为连续变量。标变量分为两类，而预测变量仍为连续变量。的常态曲线下纵轴高度“失败”一项的比率为项所占的比率的变量中，“通过”一通过和失败）人为地分为两个类别（ppqpYpqSXXrtqpbY,1 当测验成绩是连续变量，而效标是等级评当测验成绩是连续变量，而效标是等级评定时，可用贾斯朋公式计算多系列相关。定时，可用贾斯朋公
28、式计算多系列相关。四分相关适用于计算两个变量都是连续变四分相关适用于计算两个变量都是连续变量，且每个变量的变化都被人为地分成两种类型量，且每个变量的变化都被人为地分成两种类型这样的测量数据之间的相关。皮尔逊余弦这样的测量数据之间的相关。皮尔逊余弦 法法总结：总结：相关系数的平方表示一个变量的变异数由另一个变量的变异数决定的百分比（决定系数）。因此，当 rxy=0 50时，我们可以说效标分数中有 25(0 502=0 25)的变异数是来自预测源分数的变异，或者说有 25的变异数为两个测量所共同拥有。假如效标中有一半的变异数能由预测源分数的变异来解释，则效度系数必须为0 71。以相关法求效度的优点
29、是：以相关法求效度的优点是：(1)提供了一个统计指标以总结预测源与效标间的关系；(2)可利用回归方程式来预测每个人的期望效标成绩；(3)效度系数（相关系数）为大家广泛使用，便于比较研究。此种方法的缺点是：此种方法的缺点是：(1)假如预测源与效标的关系不是直线性的，则必须采用特殊的相关方法；(2)测验结果不能提供有关取舍正确性的指标。2 2、区分法、区分法 t t 检验检验 看预测源的分数是否可区分由效标测量所定义的团体看预测源的分数是否可区分由效标测量所定义的团体。例：例：某工厂通过测验录用了一批工人，过一段时间后某工厂通过测验录用了一批工人，过一段时间后，根据工作成绩（如产品的数量、质量）将
30、他们分成，根据工作成绩（如产品的数量、质量）将他们分成成功的和失败的两组，然后回过头来检查他们的测验成功的和失败的两组，然后回过头来检查他们的测验分数。运用分数。运用 t t 检验看看两组在测验上的平均分数是否有检验看看两组在测验上的平均分数是否有显著性差异。显著性差异。假如：成功组有假如：成功组有 6060 人，失败组有人，失败组有 4040 人；成功组的平人；成功组的平均数为均数为 6.056.05，标准差为，标准差为 2.022.02；失败组的平均数为；失败组的平均数为4.254.25，标准差为，标准差为 1.31.3。试问两组的平均数有无显著差异。试问两组的平均数有无显著差异？已知成功
31、组、失败组的均数、标准差、样已知成功组、失败组的均数、标准差、样本规模，独立样组的本规模，独立样组的 t t 检验公式是：检验公式是：xDSt21XX)11(2)1()1(S2121222211DXnnnnSnSn 所以，两组分数有极其显著性差异，即该测验确实可以预测工作上的成败。626.240.598401.69,S4.25,X603.31,S6.05,X01.012221211ttdfnn时，代入公式可求得：工作失败组：工作成功组：用区分法检验测验的效度，需要检验平均数之间的差异，就要用到均数之差的标准差，均数之差的标准差与样组容量成反比。那么，当样组规模 n 很大时 Sx保持不变，则 n
32、 越大，均数之差的标准误越小，这样就使得 t 值增大，增加了拒绝虚无假设的机会，这就意味着作出“两组具有显著性差异”这一结论的可能性提高了。)11(SSE212PDXnn2111D21XSEnSnSnn 要避免这一缺点，可以求出这两个分布的要避免这一缺点，可以求出这两个分布的重重叠量叠量。如果 t 检验没有显著性，就说明两个均数间无显著性差异；如果 t 检验有显著性差异，还必须求两个分布的重叠量，重叠量是用两个指标来表示的。(1)(1)第一，一组内被试得分超出另一组平均数的人数与另一组第一，一组内被试得分超出另一组平均数的人数与另一组被试中超出其均数的人数的比率。比率越低，两组间的差距被试中超
33、出其均数的人数的比率。比率越低，两组间的差距越大。越大。(通常是以“失败”组超过“成功”组均数的人数来通常是以“失败”组超过“成功”组均数的人数来计算计算)；(2)(2)第二，两组分数分布共同区域的百分比。共同区域越大，第二，两组分数分布共同区域的百分比。共同区域越大，两组分布的差异越小。两组分布的差异越小。重叠量越大，说明两组差异越小。研究者在进行效度验证的过程中，必须把两组的平均分数、标准差、重叠量以及平均分数的差异在统计上的显著性一并报告。总的说来，两组平均分数的差异在统计上显著并不保证测验一定有效。然而，假如测验分数无法区分效标定义组，则测验是肯定无效的。3 命中率法命中率法含义：含义：正确决策的比例用途用途 人才选拔方法方法 正确决策的结果 正确接受 正确拒绝 （D）失误（C）命中失败（-）（B）命中（A）失误成功（+）测验预测成功（+）失败（-）效标成绩选择人数成功人数正命中率
