1、近三年江苏省高考英语试题效度分析学科教学英语专业毕业论文近三年江苏省高考英语试题效度分析-学科教学(英语)专业毕业论文南京师范大学硕士学位论文近三年江苏省高考英语试题效度分析姓名：石燕波申请学位级别：硕士专业：学科教学（英语）指导教师：汪少华20110429摘要摘要高考作为中国高等教育入学考试，一直以来都是社会关注的焦点，但这种重要的 选拔性考试，还有许多问题需要我们做出科学的解释和回答。高考英语试题的效度问 题就是其中之一，效度一直被认为是衡量一项测试质量的核心标准。近年来国内外对 各类语言测试效度研究不断出现，但对高考英语试题效度研究很少。因此对高考英语 试题效度分析研究很有必要。本研究旨
2、在了解2008至2010年江苏省高考英语试题效度，主要采取定性分析和 定量分析相结合的研究方法来分析这三年的试题效度。分析选取的标准主要有两个： 一是英语测试基本理论一交际语言能力测试理论；二是近三年江苏省高考英语考试大 纲。主要研究过程：第一、对比试题中各类题型预定测试的能力与实际这三年试题各 类题型所测能力，分析试题表面效度。第二、把近三年江苏高考英语考试大纲规定要 考的语言能力与实际试题所考的语言能力进行对比，分析试题内容效度。第三、对比 交际语言能力测试理论中规定学习者应掌握的交际语言能力与这三年试题实际所测语言能力，分析试题结构效度。通过研究发现，近三年江苏高考英语试题中，主观性试题
3、表面效度比客观性试题 表面效度高。而且这些试题都是按照大纲规定来命题，内容效度都比较高。在结构效 度方面，各类题型的试题除了考查到考生的语法能力外，还考查到考生的语篇以及社 会语言能力，这与交际语言能力测试理论的内涵相吻合，因此具有较高的结构效度。 最后通过研究发现的结果给高考英语命题及中学英语教学提出了一些建议与启示。 关键词：高考英语；表面效度；内容效度；结构效度AbstractAbStraCtAs the entrance examination of higller education，National Matriculationrest h弱 always been the focu
4、s of the whole societyBut it is in this imponant selection examination that many issues need us t0 make scientific explanationsThe Validity 0f National Matriculation En酉ish Test(NMED is one of the typical issuesValidity has beenconside陀d弱the corc st锄dard t0 measure the quality of a testIn reccnt yea
5、rs，Variousstudies 0n the Validity of language testing emerged at home蛐d aboard，but therc a佗f咖studies on the Validity of NMETSo it is necessa巧t0 study the Validity 0f NMETThe 90al 0f this thesis is to find out the Validity of the NMET 0f Jiangsu pr0Vince 餐rom 2008 t0 2010Tllle陀search method 0f this t
6、hesis is qualitatiVe锄d quantitatiVe 锄alysisThe st锄dards t0卸alyze the Validity of these pape璐arc the basic theory ofl锄gIlagc testing1meory of communicatiVe langIlage testing硼d the NMET syllabuses of Jiangsu provincc仃0m 2008柚d 2010Tllle柚alysis proccss c柚be diVided into three pans Firstlycomp撕ng the ab
7、ilities that V撕0us question types intended t0 tcst with the abilities these ex锄pape璐aCtually testThrougll the C0mparison rcsuItS，the rcsearcher c加强alyze the facc Validities of these pape瑙Secondly觚a1)rzing the content Validities througll the comp撕son bet、een the NMET syllabus髓of Jiangsu provincc锄d th
8、e ex锄pape塔ofthe靶ttlree yea飓Finallycomparing the l柚gIlage C0mpetens proposed iIl the tlleory of communicatiVe l锄gIlagc tcsting with the l锄guage competenccs tested in thesc ex锄pape娼So the researChern judgc the constrIlCt Validities of these exam pape璐The study他sults他Veal that tlle face Validity of sub
9、jeCtiVe test is lligher than thc objectiVe tcst of the Jiangsu NMET pape璐f幻m 2008 to 2010These pape飓are designcd according t0 the NMET syllabus，they havc high content Va“dityIn te腓s of constmctValiditymost 0fthe pape掩test the黟aIIImatical，textual锄d pragmatic competences 0f the ex锄inees，which consiste
10、nt with the essencc of communicatiVc I锄guage testing theo呼 Tlle陀f0佗，the JiangSu NMET pape玛觚lm 2008 t0 2010 have higll construct Validity Finallythis lhesis will also o船r somc Valuable and constmctiVc suggcstions t0 the desi鲷 of NMET papcr锄d English tcaching in middle sch001Key Words：NMET；facc Validi
11、ty；content Validity；constmct Validityn第一章前言第一章前言 11研究背景在我国众多考试之中，高考是目前第一大重要考试，它是全社会关注的焦点。高 考是一种选拔性考试，选拔相对优秀的人才进入高等学校进一步学习。就考试的性质 而言，高考是一种常模参照型测验，它是以个体在总体中的相对水平即个体在总体中 所处的位置来解释个体成绩的优劣。所以说高考的标准是相对的，因此成败并不取决 于考生自己。尽管近年来高考扩招幅度逐年上升，但始终有很大一部分人不能获得接 受高等教育的机会。因此，高考的选拔作用依然突出，不管是对考生、家庭还是社会 都影响巨大，备受社会的关注。从这个角度
12、来说，保证高考的质量，维护高考的信誉， 已成为维护社会公平、公正的内在要求之一。所以我们必须积极探索提高高考质量、 保证高考科学的途径与方法。英语学科考试一直是高考科学化进程中的先行者。近年来，国内出现了一些对高 考英语的研究，其中既有对测试理论的研究，也有以相关理论为指导对具体考试的分 析与指导的研究，还有对具体不同类型考试的试题研究。在这些研究当中，效度与信 度的研究是语言测试研究中的热点问题。而自2004年起，江苏省作为首批分省命题 省份之一，开始了自主命题工作。所以对江苏省高考试题的研究开始的较晚且研究成 果较少，尤其是对江苏省高考英语试题效度的研究更少。有鉴于此，本文旨在研究近 三年
13、来江苏省的高考英语试题效度如何，探索如何进一步提高高考英语试题的质量， 保证高考的选拔功能较好的实现。12研究问题作为江苏省规模最大、最受社会关注的考试，有许多问题要我们做出科学的解释 与回答。本文从以下三个方面的问题出发来研究近三年江苏高考英语试题。1、近三年的高考英语试题，各类型试题分别考查了学生的哪些语言知识与语言 能力?2、按照考试大纲和交际语言能力测试理论，学生应掌握的语言知识与语言能力近三年的高考试题是否都考查到了，即三年试题内容效度和结构效度是否令人满意?3、江苏省高考英语试卷的命题和中学英语教学需要从哪些方面改进?1第一章前言13研究目标本文通过对近三年江苏省高考英语试题进行整
14、体的分析，分析江苏省高考英语试 题中各类题型的试题分别考查了学生的哪些语言知识和语言能力，对比Bachm锄的 交际语言能力理论中所包含的语言能力与语言技能，看近三年江苏省高考英语试题是 否考查到了学生们应该掌握的语言知识和语言技能，看这些试题达到高考英语测试目 标的程度如何，即这些测试试题效度如何。从这个角度来判断这些试题是否有效地、 有代表性地测出了学生应有的语言知识水平。通过以上的研究能够判断近几年的江苏 省高考英语试题是否具有较高的效度，能为江苏省高考英语命题组进一步提高高考英 语命题质量提供一些可操作性的建议，能给中学英语教学和英语学习者的英语学习提 供方向上的指导。14全文结构本文共
15、分为五章。第一章是简要介绍整篇文章的研究背景，阐明本文的研究问题 和研究目标等。第二章主要介绍与本研究相关的概念以及语言测试的相关研究综述。 包括国外对语言测试的研究，国外对中国英语考试的研究；国内对语言测试的研究， 国内对高考试题的研究以及相关研究述评。第三章主要介绍与本研究相关的理论基础 以及本研究理论框架，其中理论基础主要是交际语言能力测试理论。第四章是本文的 主体部分，主要从定性和定量角度来分析近三年江苏省高考英语试题效度。第五章是 本文的结尾部分，主要是总结本研究的研究结论，对测试和教学工作的建议与启示， 以及本文的研究局限和对今后研究的建议等。2第二章核心概念及相关研究综述第二章核
16、心概念及相关研究综述21核心概念看一项考试的成功与否，主要看它有没有较高的信度与效度，它们是检验测试质 量的两大重要因素。效度和信度是语言测试及其它教育与心理测量质量评价的根本要 求(李清华，2006)。效度是指测试的有效性，即考试是否测量了它所要测量的东西 (孙成岗，2000)。一般来说，如果一套测试试题测量了命题者想要测量或想要考查 的内容或能力时，这就是一次效度较高的测试。测试的效度可以分为表面效度、内容 效度和结构效度。(1)表面效度：指考试表面的可信度或公众的可接受程度(IIl酉锄，1977)。一个考试如果看上去测试了预定的技能或能力范畴，那么这次考试就具有表面效度。比 如测试英语书
17、面表达能力的考试是让学生写一篇作文，测试学生口语能力的考试是让 学生开口说英语，这种直接运用被测试能力的考试表面效度就较高。(2)内容效度：也称为课程效度，是指测试是否考了考试大纲规定要考的，或 者说考试的题目在多大程度上能代表所要测量的目标(刘润清、韩宝成，2000)。也 就是说，测试内容效度高的考试，应该是命题人在命题与审题的过程中严守大纲的内 容规则，依据大纲进行审题、命题。(3)结构效度：也称观念效度或理论基础效度，是指测试是否以有效地语言观 和语言学习观为理论根据(赵成发，2000)。如我们经常说的阅读能力或听说能力， 就是两个典型的理论能力结构。如果一项考试能够测量某个理论能力结构
18、，它就具有 结构效度。测试的结构效度是其他效度的根本，是整个考试以之为基础的理论依据。22国内外有关语言测试研究综述221国外语言测试研究l、国外对语言测试的研究 国外对语言测试研究开始较早，主要围绕两个问题进行：一是什么是语言能力；二是如何对语言能力进行测量。最初语言学家们把语言当作一门包括语音知识、语法 知识和词汇知识在内的知识。语言测试也就考察被试对这三方面知识的掌握情况。203蔓三童垫：垒塑垒壁塑羞婴塑堡鲨 世纪40年代，结构主义语言学兴起。语言学家提出“语言是一套形式结构，一套符号系统的论断。学习语言就是要获得操作这套符号系统的技能，即训练对刺激做出正 确反应的一套语言习惯。而心理测
19、量学坚持语言能力可分说，认为语言可以分解为语 言技能和语言成分，人们运用这些语言技能和语言成分的能力就是一个人的语言能 力。这个时期的语言测试称为心理测量学一结构主义语言学测试。它更加注重听说技 能，尤其是听的技能。这种测试在50到60年代占统治地位，到80年代甚至90年代初 仍是主流。60年代中期，Chomskv(1965)提出了语言能力和语言行为的概念。在1979 年举行的第一次语言测试研究研讨会上(Languagc Testing Research Colloquium，简称 LTRC)，C锄aleSwain(1980)向大会提交了“交际语言能力的理论模式。 CanalcSwain的交际
20、语言能力模式由四个部分组成：1)语法能力；2)社会语言能力；3) 语篇能力：4)交际策略能力。90年代，Bachm锄(1990)又提出了一个全新的交际 语言能力模式。由语言知识、策略能力和心理生理机制三部分组成。语言测试的第二个基本问题是如何测量。BaChm锄Palmef在其新著(1996)中 指出，设计或开发一项新的考试时，应首先考虑语言测试行为要与语言的实际使用情 况相一致。众所周知，语言测试的目的是根据被试的考试分数对其语言能力做出推断。 此时必须能够证明被试的测试行为与在具体场景下的语言使用存在一致关系。这就涉 及到语言测试的有用性，在BachIIl加看来，语言测试的有用性包括六个方面
21、的特性， 即：信度+效度+真实性+交互性+影响+可实践性。在测试界，传统的看法认为上述这 些性质互不相干，或片面地强调其中一个特征。有的学者认为信度和效度是矛盾的 (Heaton，1988)，或者认为同时兼顾真实性和信度是不可能的(Mo玎0w1979)。而 Bachm锄(1996)的观点是，要充分认识各种性质的互补性，从中找到平衡，根据不同 情况又可有所侧重，以取得某一测试在整体上的有用性，因为任何测试都有其特定的 目的，都是针对特定的被试和特定的语言使用范围。大规模测试通常对被试做出某种 决策，因而注重测试的信度和效度。一般的随堂测试则更加注重测试的真实性、交互 性和影响。2、国外对中国英语
22、考试的研究在国外对中国考试的研究方面，仅能找到舢hmo陀(1996)对TEM8的一项研究。在其“How the Chinese assess English：卸锄alysis of the test for English majors一文中， 缸hmore对TEM8考试的每个题型进行了逐个分析，得出如下的结论：TEM8考试主 要考查了中国英语专业学生的听力、阅读理解、改错、翻译和写作。该考试在同一时间，在全国范围内进行，其考试目的不仅是要评估学生的英语水平，还要对英语专业4第二章核心概念及相关研究综述 的教学情况做出评判。但是，对信度、效度和语用的关注却削弱了考试对于评价英语 水平的有效性。
23、因此，舢hmorc建议TEM8考试增加拼写和口语测试，开发考试说明 书，改进评卷机制。此外，他还建议用TEM8试题对母语为英语的人进行测试，并以他们的考试成绩作为中国考生考试结果的一项参考。222国内语言测试研究1、国内对语言测试的研究国内研究者们对语言测试的研究主要集中在六个方面：语言测试理论研究；测试 信度与效度研究；测试的伦理及反拨作用研究；测试类型、题型研究；等级考试研究； 测试改革与问题研究。第一、语言测试理论研究。主要集中在对不同语言测试时期的语言测试理论与模 式进行回顾与分析，陶百强(2004)和薛荣(2008)等系统的回顾了世界语言测试理 论与模式，但研究者们对Bacb皿锄的交
24、际语言测试理论与模式的述评与分析更多， 韩宝成(2000)就对Bachm锄的交际语言能力测试模式进行了详细的述评与分析， 交际语言能力测试模式主要包括两部分：语言能力和测试方法。李清华和孔文(2001) 除了对交际语言能力模式和测试方法进行评述外，还分析了Bachman的外语测试设 计和评价的“实用性原则，即实用性=信度+构想效度+真实性+相互作用性+后效作 用+适用性。第二、语言测试信度与效度研究。根据结构主义测试学家的传统解释，语言测试 的效度是指测试是否考了它所要考的(庞继贤、陈婵，2000)。对语言测试的信度与 效度的研究主要是从两个方面进行的：一是从宏观上探讨语言测试的信度与效度以及
25、 两者之间的关系；二是从微观方面研究不同类型的考试(如大学英语四、六级)中信 度与效度。信度与效度孰重孰轻，是现代语言测试学家一直争论不休的话题。汪先锋 和倪建乐(2000)在探讨语言测试中的信度与效度之间的关系时，指出效度应重于信 度。陈晓扣、李绍山(2006)在语言测试的效度一文中指出效度是语言测试最为关注 的问题，认为效度是一个单一的概念，内容效度、标准关联效度和结构效度是三种相 互依赖的推理性解释，是效度的三个方面，在操作和逻辑上相互联系。第三、语言测试反拨作用研究。测试的反拨作用即测试对于社会、教育机构以及 学生个人的影响等，也是该领域研究的焦点问题之一。但是目前国内对反拨作用的研
26、究还十分匮乏，尤其是缺乏一个反拨作用研究的理论模型。陈晓扣(2007)在论语言5第二二章核心概念及相关研究综述 测试的反拨作用中对反拨作用的概念层面、语言测试对教与学各方面的影响、促进反 拨作用的各种因素进行了探讨，并在此基础上建立起反拨作用研究程序和综合理论模 型。国内学者对反拨作用的研究主要集中在不同类型的测试对英语语言教学和英语学 习的反拨作用。金艳(2000)研究了大学英语四、六级考试口语考试对教学的反拨作 用。亓鲁霞(2004)还通过访谈、课堂观察、问卷三种方式对高考英语的反拨作用进 行了研究，发现高考英语的预期反拨作用有限，NMET和中学英语教学均需进一步改 革。第四、语言测试类型
27、、题型研究。语言测试的类型和题型研究是语言测试研究中 最广泛、最深入的研究课题。在近十年的语言测试研究中测试类型、题型的研究文章 最多。王凤英(2005)系统阐述了测试的类型、题型及题型功能。对于测试各种题型 的研究归纳起来可分为两大类：封闭性试题研究和开放性试题研究。封闭性试题研究 主要有多项选择题型、完形填空试题和阅读试题等方面的研究。对开放性试题的研究 主要是对翻译和写作测试。第五、等级考试研究。在英语等级考试中，对CET46、TEM48测试的相关研 究文章较多。杨惠中(2003)对十五年大学英语四、六级考试作了系统的回顾。段云 礼和孔祥永(2004)研究了语篇分析在英语专业八级阅读理解
28、测试中的应用。邹申 (2003)通过回顾高等学校英语专业高年级阶段考试(TEM8)的设计与实施，探讨语言 教学大纲与语言测试之间的互动关系。而刘津开(2002)以TEM8(英语专业八级考 试成绩)与NMET(英语高考入学成绩)之间关系的抽样调查为例探讨英语水平测试与 教学评估的关系，调查结果表明TEM8与NMET分数之间显著相关(pO01)。第六、语言测试问题与改革研究。牛强(2001)和张新元(2004)都认为现行大 学英语测试存在严重的问题。韩宝成(2006)指出高校学生英语能力测试改革势在必 行。韩宝成、戴曼纯、杨莉芳(2004)从一项调查结果分析了大学英语考试中存在的 问题，而且提出了
29、改革现行大学英语考试的5条原则。肖云南和罗晓英(2002)也就 英语测试的改革提出了一些具体的建议，在无法改变教师和考生应试心态的情况下， 测试设计者应考虑将试题多样化，尽量采用考查语言运用水平的题型，在大型英语测 试中设立口语水平测试。总之，语言测试应全面考查听、说、读、写四项语言技能。2、国内对高考英语试题的研究 国内对高考英语试题的研究主要集中在对高考英语试题的类型和题型的研究。包括对高考试题的总体分析和对各类题型的具体分析以及解决各类题型的对策及建 议。高洪德(2003)、曹荣苏(2006)、张爱华和巩清民(2009)分别对2003年全国 6蔓三童垫：堂墼垒丝塑羞婴蕉缕垄 高考试题、2
30、006年江苏省和2009年山东省的高考英语试题作了总体的试卷评析，也对高考试题中各类题型的考点和难易度等进行了分析。国内对高考试题的研究除了题 型的分析研究外，还有少量的对高考的反拨效应及试题的效度研究。亓鲁霞(2007) 基于高考短文改错的调查分析了高考英语的期望后效和实际后效，通过调查研究发 现，高考短文改错试题的期望后效与实际后效不符。聂建中、赵秀红(2005)分析高 考英语完形填空的考点效度，通过对完形填空效度的分析，可以看出其考点层次范围 逐步从单词、词组层次扩大至语篇层次，而且考点因素也逐渐由以语法为主过渡到以 意义为主。王晓军、杨玲(2009)从信息分析的视角分析了高考英语写作项
31、目内容效 度研究，研究结果是高考英语写作项目己具有初步的内容效度。除此之外，还有对比 国外英语考试和我国高考英语考试的研究。李鑫、修旭东(2009)把雅思试题和我国 高考英语阅读测试题型进行对比，通过对阅读过程的分析和对雅思及我国高考阅读测试中各种题型的比较，发现雅思测试运用多种阅读测试题型全面考查考生阅读能力的 做法值得我国高考英语借鉴，高考英语阅读测试需要进一步完善。总体来说，国内对 高考英语试题研究相对较少，特别是对各类题型的效度分析研究更少。23相关研究述评纵观以上这些研究结果，可以发现以下这些特点：国外对语言测试研究无论在理 论上还是应用方面都比较成熟，但是对中国英语考试的研究很少。
32、而国内的研究则相 对滞后，在理论方面主要是对国外先进理论的转述与回顾分析，没有自己的理论创新。 在测试的信度与效度研究方面跟国外相似，一直在争论信度与效度孰重孰轻。对测试 的反拨效应研究较少，而对测试类型、题型研究较多。但是对测试类型、题型的研究 主要是就等级考试而言。但是对人数参与较多的选拔性考试研究较少，特别是对高考 的试题题型等相关研究更少。有鉴于此，本研究以国外成熟的理论为基础，对研究较少的高考英语试题(江苏卷)进行分析研究，希望研究结果能给江苏省的高考英语命题提供一些可操作性的建议，也能给中学英语教学和学生的学习提供方向上的指导。7第三章理论基础第三章理论基础31理论基础交际语言能力理论311 Hymes的语言交际能力学
