第十一章 评估研究方法.docx
- 文档编号:358249
- 上传时间:2023-04-29
- 格式:DOCX
- 页数:20
- 大小:72.54KB
第十一章 评估研究方法.docx
《第十一章 评估研究方法.docx》由会员分享,可在线阅读,更多相关《第十一章 评估研究方法.docx(20页珍藏版)》请在冰点文库上搜索。
张晓林:
《信息管理学研究方法》,四川大学出版社,1995
第章评估研究方法
评估研究又称评价研究,是采用系统严格的研究方法和过程来评价社会项目效果的一种方法,是社会活动和社会科学研究的一个重要部分。
它综合利用多种研究方法,与社会项目规划管理过程有机结合,对社会项目管理和社会决策有着重要的意义。
11.1评估研究方法的基本概念
11.1.1评估
评估(Evaluation)是对一项社会项目的状态、尤其是它实现既定目标的程度进行测量和评价的过程。
(1)评估研究的社会项目观
在评估研究中,“社会项目”泛指有组织有目的的任务与行为集合,它们往往是在特定社会背景下为制造某种预期效果而采取的行动,主要有以下类型:
a.针对某个具体需要、在某个短暂时期内按照某种临时确定的行为方式进行、组织和参与的人员都不长期固定的活动,例如信息用户教育月,科技信息支农支边行,质量大检查活动,愉快教育活动等。
b.针对某个较稳定的需要、在较长时期内按照比较稳定的行为方式持续进行、且往往有较明确的组织管理体系的项目,例如国家星火计划、文献信息机构资源共享项目、救助失学儿童的希望工程、培养年青科技人才的跨世纪优秀人才项目等。
c.针对某个长期需要、在长时期中按某种相当稳定方式进行,且有与之配套的组织结构的活动,它常常体现为一定的机构及其目标和任务集合。
可以说,我们任何一个社会机构都属于这类社会项目。
在评估研究中,任何社会项目都是且只是为了特定的社会需要和效果而采取的行动,因而自然地必须以它实现预期效果和满足社会需要的程度来对它进行评价。
社会机构也只是在一定时期内完成一定社会活动来满足一定社会需要的手段,因此也应摆脱机构具体形式和固有工作对社会需要和相应目标的掩盖和局限,根据社会的需要(而不是根据机构本身的需要与习惯)来评价机构及其所进行活动的真实效果。
(2)评估活动
评估是管理工作的一个重要组成部分,是实现控制的基本手段之一。
当人们根据一定社会需要和环境条件为一定社会项目制定了目标和计划、并按照该计划来实施该项目后,人们需要利用专门和规范的方式来检查评价它的运行结果。
从人类有组织活动的第一天起,人类就开始了对活动项目的评估.在现代管理中,评估更成为管理者规划和控制社会活动的基本手段,贯穿于各类社会活动和生活过程之中,例如工作总结、目标考核、评比、项目验收鉴定等,都是不同形式的评估。
通过评估,人们希望:
保障社会项目按照顶期计划进行;确认社会项目目标的实现程度;确认社会项目方式方法的效率效益;探讨社会项目管理的有效方法;促进和保障对社会项目及相应的社会资源配置做出正确和及时决策。
(3)传统评估方式
传统地,人们主要利用以下方法来进行评估:
a.工作人员的报告。
工作人员指组织实施和管理社会项目的人员,他们在项目的各阶段主动或被动地向有关各方提供报告,以描述该项目的状态和结果,例如工作文件,统计报表,工作总结等。
由于工作人员对项目的细致了解,这类报告可以及时和定期地反映项目详细进程和状态,可以提供具体、持续、系统的结果数据,可以揭示项目组织管理和进行中的内部活动和问题,还可作为自我评估来对项目进程进行控制。
但是,由于工作人员对该项目所承拒的责任及相应的利益束缚,他们容易“自然假定"社会项目的成果或高估这些成果,忽略或拒绝承认所存在的问题,或者强调外界的、经济的或技术的原因。
b.被服务者的报告。
被服务者指有关社会项目的直接对象,例如信息服务用户,消费者,课题被资助人,公共服务接受者等。
被服务者报告指他们有意无意提出的关于社会活动过程和效果的意见,或专门对他们进行的有关调查。
例如文献信息服务机构的用户文献获得率调查,信息咨询服务中的用户满意度调查,商业机构的顾客意见表,被服务者向服务者、大众媒介、政府机构,甚至执法部门提出的申诉等。
这类报告生动具体,能从社会需要和社会效益角度评价社会项目,也能揭示产生问题的实际过程和初步原因。
但它们往往很零散,不一定能及时获得,可能缺乏代表性,往往不能充分揭示问题的原因。
C.上级视察。
上级视察或检查是领导部门对所管辖领域的社会项目或机构进行了解评价的常用方法,简单易行,而且比一般文件报告和统计数字更能接触实际的具体的活动和结果,在理想情况下也更易从社会需要和社会效益角度来观察和评价社会项目,上级往往还能更方便地索取相关资料以全面了解社会项目,但上级视察时问短暂,只能直接接触社会项目中极少部分活动和结果,难以全面系统地进行了解和评价。
而且,许多社会项目涉及较多专业知识、技能和组织管理细节,上级领导难以在短时期内对其过程和结果充分理解,也就谈不上准确评价。
还需指出,上级视察的具体过程往往是由被视察的下级组织的,这就为下级有选择地安排(甚至制造)视察内容提供了机会,使得上级只看到他希望看到的,或者只看到下级希望他看到的内容。
d.专家考评。
这时若干外部专家对某个社会项目的过程和结果进行评估,是目前许多专业职业领域对涉及较多专门知识技术和复杂管理过程的社会活动的常用评估方法,例如企业质量保障体系的专家认证,科研项目立项或获奖的专家评审,图书馆评估,高等学校校园综合治理评估等.专家评估能充分利用专家的知识和经验来分析和评价有关活动,有利于从社会需要和统一标准角度来作出评价,而且专家可超脱具体机构或活动执行部门而具备必要的客观性。
专家还可利用其专业知识提出中肯可行的决策建议。
但是专家评估也是在短时期内进行的,使得专家难以对项目有全面系统的了解。
专家评估也依赖于被评估部门的组织和合作,从而限制了专家可能接触到的项目实情。
况且,找到合适的专家并不是轻而易举的事。
e.常规审计,指根据有关规定进行的定期评价,具有较强的规律性规范化和强划性,往往能提供系统详细的数据。
但审计往往以财务审计为主,比较注意社会项目执行过程的效率和资源利用情况,忽略或冲淡了对资源使用结果和社会项目效益的评价,容易将问题掩盖在难以理解的繁复数据中,而且一般不能揭示产生问题的原因。
另外也需注意:
常规审计所使用的数据也是由被审计单位提供的,如何保证数据的真实客观全面始终是任何审计工作的关键问题。
11.1.2评估研究
评估研究是指按照科学研究原则和严格的科学研究方法来准确地测量与评估社会项目实现目标程度的过程。
(1)评估研究的性质与特点
评估研究是社会发展的要求。
在现代社会中,许多社会项目耗费大量社会资源,而且对社会整体或某些部分可能产生重大影响,人们自然希望这些社会资源的使用能够带来预期的理想的社会效益。
同时,当一部分社会资源被用于一定社会项目后,另一些社会项目就会因为缺少资源而不能建立或维持,相应的社会需要就不能得到满足,资源的占用总是以一定社会需要得不到满足为代价的。
因此人们也很自然地要求资源被用于能够满足最大量的社会需要的地方,要求提高社会资源的使用效率。
在这种情况下人们要求社会项目具有明确正确和合理的目标,能够实现所规定的目标,并在实现其目标的过程中使用可能条件下最经济有效的方法。
社会再也没有随便建立或维持目标不明或目标不能实现的社会项目这份奢侈了,社会也必须寻求严格公正的方法来揭露那些浪费社会资源的社会项目,以便最佳配置社会资源来最大限度地满足社会需要。
评估研究遵循科学研究方法的基本原则和操作规范,要求对被评沽的社会项目建立合理明确具体的评估标准,要求系统客观准确地收集代表性数据,要求将待评估项目的状态和结果与既定目标相比较,与在其它情况下或相同相似条件下能够达到的状态和结果相比较,最后得出明确的绩效结论,并在此基础上提出关于维待、修正或中止该社会项目的决策建议。
人们希望,在科学研究方法基础上进行的评估会尽可能地避免主观愿望、利益、人际关系、习惯传统、简单粗糙行为等的影响,使评估结论具有客观性和可靠性,使评估结论能提高社会决策的有效性。
根据社会项目所处阶段和决策需要,评估研究的目的和性质可能是多重的:
a.描述性评估(Descriptiveevaluation),通过详细和充分地描述社会项目的运行过程,准确了解该项目的状态和方法,为评价项目结果和揭示存在问题及其原因提供基础。
b.形成性评估(Formativeevaluation),通过描述社会项目的运行状态与结果,为改善和完善该项目的方法技术提供参考。
c.总结性评估(Summativeevaluation),通过描述和比较社会项目的结果,评价该项目的社会价值。
在许多复杂社会项目的评估中,评估活动本身分为多个阶段,以适应多重评估性质和目的的需要。
(2)评估研究对象
严格的评估研究是复杂和费时费钱的,因而人们并非在任何情况下都使用评估研究方法来评价社会项目,只是对具有重要社会意义的项目才采用评估研究方法。
这类项目一般具有以下特点:
a.涉及复杂内容,非严格系统方法不能对其进行准确测量评价;
b.社会影响大(范围广、时间长、程度深),项目目标的充分实现具有重要的社会意义;
c.涉及大量的社会资源,保障它的充分与有效利用对社会公平和资源总体配置优化具有重要的社会意义;
d.对社会项目的作用存在一定的争议,需要系统客观的数据来进行评判;
e.有需要或有可能对项目的维持、修正或中止进行决策,从而使评估结论能迅速运用于决策过程,评估投资能迅速转化为社会资源利用效益。
有些社会项目可能不值得进行评估,例如巳经做出决定的项目,不打算做任何决定的项目,目的没有准确描述或存在矛盾描述的项目,内容和范围游移不定的项目等。
许多社会项目需要进行评估,但可能不必或无法按照科学研究要求来进行严格的评估研究,例如涉及很小范围和很少资源的项目,社会作用明确且长期不存在异议的项目,没有保存或无法收集客观系统数据的项目,执行单位或其上级主管部门不支持评估和不提供必要条件的项目等。
11.1.3评估研究的基本实施原则
为了进一步理解评估研究的性质和基本操作规范,我们在此深入探讨评估研究的基本实施原则。
(1)目标效益原则
社会项目评估的最终和最根本的目的是评价项目实现既定社会目标的程度,从而促进正确进行社会决策,以保障社会资源最优配置。
但是实际的社会项目评估往往是分为多个层次进行的。
a.对投入资源程度的评价,例如按工程项目经费开支数量,按教育活动投入人力资金程度,或按图书馆文献收藏量等来分别进行评估。
这类评估的基础是:
在其它一切条件相等的情况下,投入的资源越多,项目的社会效益就越大。
b.对项目运行效率的评价,例如按工程项目建成的厂房或投入安装的设备,按教育活动完成的时间数量或教授学生数量,或按文献信息机构流通的文献数量来评估。
这类评价的指导思想是:
在其它一切条件相等的情况下,运行中所产生的结果越多,项目的社会效益就越大。
c.对项目完成社会需要的程度的评价,例如工程项目在一定时间内向社会提供的产品数量和质量,经过特定教育活动的学生毕业率,信息用户从文献信息机构获取所需信息的获得率。
这时的基本思路是:
在其它一切条件相等的情况下,项目所满足的社会需要越多,项目的社会效益就越大。
d.对项目完成社会需要的效率的评价,即单位投资所满足的社会需要程度。
这类评估包括考察工程项目的投资回报率,警务治安开支与发案率(破案率)之比,文献信息机构文献收藏量与用户文献获得率之比等。
这类评估的要求是:
单位投资所满足的社会需要程度越高,项目在一定社会投资下产生的社会效益就越高。
优秀社会项目应以在可能条件下用最经济有效的方法来尽可能充分地满足社会需要。
严格的社会项目评估应该是对项目完成社会需要程度和完成社会需要的效率的评估为主,以真正保障正确的社会决策和促进社会资源最佳配置.但由于对社会需要满足程度及满足效率的评价比较困难,人们常常用对社会项目的资源投入程度或项目运行效率的评估来代替。
当然,资源投人是项目运行的基础,一定的运行效率是项目产生作用的必然要求,对它们的评估本身对促进项目的实施和有效进行有重要意义,同时为项目效果评估提供了必要的基本数据。
但是,资源投入和运行效率只是为社会项目完成其目标准备了一定条件,并不等于社会项目真正实现了它的目标。
因此,片面地以条件来代替效果容易冲淡甚至取消对结果的测量评价,保护那些投入大或运行规模大、但满足社会需要差或满足效率差的项目,还可能引导人们片而地追求条件的积累消耗。
因此,只有对项目完成目标实际程度和效率的评价才能正确地测定社会项目的效果,在此基础上的社会决策才可能是合理有效的。
即使我们因为种种原因不得不对条件的评价,我们也必须清楚地意识到它们的严重局限性,简单替代将会破坏社会决策的有效性。
有时,在社会项目评估中还出现用项目工作人员是否诚实、是否努力、是否严格遵循有关规章制度来评估项目成效的情况。
这些内容可以作为项目运行情况的一部分来检查评价,但它们也只是项目实现其目标的条件,不能代表和代替项目本身的结果。
(2)比较和零点比较原则
任何一个单独的事物是不存在好和差之分的,只有在比较中才能有优劣.同理,对社会项目的评估也总是隐含或明确要求比较,尤其是在评价运行效率和满足社会需要效率时。
当我们说社会治安综合治理方法能更好地维护一方平安、愉快教育法有利于儿童身心全面发展、或者文献资源共享体系提高了用户文献获得率,我们都是针对以前或别的某种方法比较而言的。
不错,社会项目的运行和结果可以用绝对数字来描述,但绝刘数字本身受项目投入和运行规模影响很大,不能准确反映社会项目的效果。
离开了比较,数字也没有意义。
当然,比较可以是与现行的或以前的其它社会活动方式比较,包括与那些可能的但并没有实行的社会活动方式比较。
比较结果可以是直接明确的,例如提高或降低程度,也可以是间接隐蔽的,例如通过描述现行社会项目的成效来隐蔽地假定原有社会活动方式的缺陷(不过,在严格的评估中,应明确确认被比较的社会活动结果形式和程度)。
零点比较更为严格地要求进行明确比较。
它假定任何一个社会项目或社会活动方式都不是自然合理的,它们的有效性和它们之间的优劣都需要证明。
为了帮助人们进行比较,它假定一切都不存在,然后考虑在这种情况下应该如何来完成社会目标,有些什么可能的方法,如何进行选择,然后将所有这些可能选择及其结果与实际过程及其结果相比较。
这种方法特别针对现有社会项目的评估。
由于心理上和利益上的原因,人们容易盲目地认定项目的合理性和成就,可能更多地看到项目的现有成果并简单地用现有项目的成果来证明其优越性。
零点比较正是专为防止人们对现有社会项目或方法的不合理偏爱而设计的。
当然,社会欢目具有独特性,往往不存在实际的多种选择供比较。
但在评估研究中,我们可以利用社会实验设计,或者寻找与它部分吻合的其它社会实践。
即使只是使用理论推导或计算机模拟,至少也能帮助我们扩展思路和发现遗误之处。
另外,对那些独特的社会项目,更应注意效率的评价。
(3)标准和度量原则
为了准确地评估社会项目,必须对社会项目预期的活动内容、进行形式、结果形式和结果程度建立明确的定义,这些定义构成社会项目的相关标准,从而能够根据这些标准对社会项目是否完成了相关内容和是否实现了相应结果作出判断。
例如“愉快教育”形式指通过参观考察、文体活动、劳动、以及其它寓教于乐活动来进行的知识和品德教育活动,“愉快教育”结果将表现在学生课时减少程度、学生成绩提高程度、学生在社会品德行为方面的改正程度等。
缺少这些标准,我们就很难客观公正地说明社会项目是否开展了预期的活动和是否产生了预期的结果,评估结论就将随评估者的主观解释而不停波动。
而且,评估标准必须能够客观地度量,这样才能通过实际测量来对社会项目达到标准的程度作出准确描述和判断.社会项目的目的和结果形式往往是通过一些概念来描述的,例如“提高科研机构的科技竞争力”,“提高用户信息需要的满足率",“促进儿童身心健康”等。
正如我们在前面指出的那样,这些概念必须现象化为一定的可以度量的行为和行为程度,才可能对其进行观察和测量。
一般来说,我们希望测量能够通过客观的工具和方式来进行,而且测量结果可以被量化。
即使是属于主观判断的问题,也应采用系统的方式来观察和判浙,尽力保证必要的客观性。
并且,为了准确说明测量结果及其可靠性、应对度量过程和方式有具体明确的描述和规定。
关于这方面的问题,请参考第五章和其它章节的有关内容.另外还需注意,如果在评估中涉及对不同社会项目的比较,被比较的内容应该用统一的方法和技术,在规范的时间单位内进行测量和判断。
(4)效度信度原则
评估研究是一个复杂过程,可能产生各种误差从而影响评估结论的准确性和客观性。
尤其因为评估研究的对象往往比较复杂,评估过程又是在被评估单位的直接参与或协助下进行,而且多个部门和人员对评估结论有直接或问接的利害关系,这就很容易引入一些特别的有意无意的干扰和影响,使评估研究比其它科学研究活动更易出现误差,也就更需要研究人员在设计、实施和评价研究时自觉和充分地对测量内容、数据、方法过程和工具等进行严格的效度信度检验.当然,我们不可能消除效度信度上可能存在的所有问题,但通过检验来发现可能存在的问题,并在作出评估结论时充分考虑这些问题的可能影响,则是严谨的研究者的自觉行为。
(5)社会目的原则
社会项目的评估是社会决策的重要组成部分.所谓社会决策,是指根据社会或特定社会阶层的利益要求和社会资源状况,对社会活动的方式、程度、范围及其相应的资源配置等进行选择和规定,以期产生某种社会效果.评估研究的最根本目的是提高社会决策的合理性,因此具有强烈的社会实用性,实际上是某一决策活动的组成部分。
前而已提到,是否进行评估研究在很大程度上取决于是否有需要或有可能对社会项目进行决策.如果没有决策的可能,评估结论可能被忽略而长期搁置不用,评估投资就被浪费,评估活动就失去意义。
这就要求我们跟踪决策过程,并根据决策需要来组织评估研究,将评估活动纳入决策活动中,将评估结论转化为具体的决策建议,将评估结论和决策建议主动积极地提文决策层次,并采取措施促使评估结论转化为具体决策行动。
11.1.4评估研究方法与其它研究方法的联系与区别
作为社会科学研究方法重要组成部分的评估研究方法,以科学研究的原则和规范为指导,在本质上和基本方式上与其它研究方法有着重要的联系.
a.与其它研究方法一样,评估研究努力探索事物的因果关系和发展变化规律。
评估研究与一般评估的区别之一正是在于,它不是简单地描述社会项目的发展过程和进行状态,而是深人分析和确认形成社会项目当前状态或结果的原因是什么,如何通过改变或完善某些因素来调整和完善社会项目。
b.评估研究也要求通过系统、客观和准确的数据来说明和证明评估结论,而这些数据也应该通过系统、客观和准确的方法来收集整理验证。
c.评估研究同样要求精心设计研究过程、方法、工具,要求对研究过程和活动进行有效控制以保障研究过程和结论的效度与信度,要求对研究过程和结论进行效度信度检验。
d.评估研究大量利用其它研究方法所使用的具体技术方法,例如实验方法,社会调查方法,观察方法等。
当然,评估研究也具有它自己的一些特点:
a.评估研究是实际社会决策过程的一部分,其研究价值主要体现在所提出的决策建议被采纳到社会决策中,直接促进社会项目的完善和社会资源的有效配置。
虽然其它研究活动的价值可以主要地通过理论结论及其相应的文章报告来体现,但对于评估研究来说,发表评估结论并不是评估研究的结束,而只是评估活动产生作用的开端.评估研究必须在其组织实施过程中有机地建立将评估结论应用到决策活动中的机制,促使评估结论应用到社会决策中是任何严肃的研究者应自觉考虑和努力的问题.
b.评估的需要一般不是由研究者提出的,而是由社会项目的管理者决策者提出的.这种研究启动机制为评估结论的应用提供了必要的基础,同时由于提出者必将带来的目的限制,从而影响评估研究的内容和应用.我们并不排除研究者自己发现和实施评估研究的可能性,但这时评估结论的有效应用和实施评估所需要的有关条件都可能得不到保证.
c.社会项目评估的目的可能是多重的.理想情况是对社会项目完成其预定目标程度进行客观测量评价,并在此基础上评价社会项目目标和方法的合理性,从而对是否继续、扩展、改变、或中止该项目做出决定.但实际上,提出评估者可能有着不同的目的,例如为了维持一个濒于取消的项目,仅作为一种公共关系手段,为了推卸项目所出现问题的责任,为了推延对项目的决定等。
这些目的往往是隐蔽的,但会在评估过程中影响评估对象和内容的确定,也会严重制约评估结论的应用。
d.多重责任冲突使社会项目评估复杂。
社会项目评估中涉及多类人员,他们在项目中代表着不同利益。
例如,由于其职责和职业规范,项目工作人员(医生、图书馆员、律师、警察、政府工作人员等)会认为执行该项目规定工作是他们的天职,并对他们所进行的活动和服务抱有强烈的信仰,对它的社会价值坚信不移,因而难以理解为什么要对它进行评估,感到评估是在审判他们。
而旦,如果评估结论是消极的,他们的职位和前途将受到伤害,他们自己的价值也受到质疑。
另外,职能监管部门(例如审计、人事等)在评估中更多地注意社会项目是否严格执行了某方面规章制度,而对这些规章制度在社会项目完成其总体目标中产生消极作用的可能性不能接受或不关心。
这些责任冲突都将为评估过程带来明显的矛盾和困难。
e.评估结果的公开问题。
其它形式研究的结果主要通过公开发表来向社会传播,以融入社会知识体系,并由此实现其研究价值。
但多数评估研究是内部管理过程一部分,评估结论主要供提出评估的项目单位、管理部门、或更上层决策机构参考,研究价值主要体现在对这些部门相应内部决策的影响上。
而且,这些部门认为评估是为了回答他们提出的问题,他们并不愿意急不可待地在公众面前抖漏社会项目可能存在的问题。
如果评估结论直接指摘有关人员和行为、或提出了可能影响项目生存的决策建议,它们都会希望能在发生麻烦之前将局面控制下来。
在这些以及其它因素影响下,评估结论可能只是有限或有选择地公布,或者根本不公布。
但是,某些社会项目及相关的资源分配直接涉及大范围公众利益,社会作为整体有权利充分了解项目结果和效率,评估结论就应该及时和准确地公布,而且公布过程需由法律法规来保证。
另外,如果我们希望能通过评估来增加对社会项目组织实施知识的一般理解和完善,评估研究结论的公布和积累就是必须的.即使被评项目是失败的,也有必要让人们知道失败原因,使这类项目不再被重复.不过,向科学界公布的评估研究可能不同于向主管部门提交的内容,并需要妥善处理有关单位和人员的隐私权。
11.2评估研究过程
评估研究是个复杂过程,它大量使用前述其它研究方法的基木技术,沿用它们的某些操作过程.因此参考前述各种研究方法的具体操作有助于理解评估研究过程。
这里,我们将主要针对评估研究中的特殊问题进行分析。
11.2.1评估研究的基本过程
一般来说,评估研究的基本过程由以下几个部分组成:
a.确定评估目的;
b.确定评估授权;
c.确定待评社会项目的内容和范围。
d.确定待评社会项目的目标及目标度量标准;
e.确定评估方式、程序及相应的组织方法;
f.确定数据收集的内容、方法和工具;
g.组织实施评估研究;
h.整理分析评估数据;
i.根据评估目的和评估数据提出决策建议;
j.撰写评估报告。
11.2.2确定社会项目的内容和范围
评估研究的对象是社会项目,但社会项目在内容、范围和时间上往往存在着较大的模糊性.例如,希望工程是一项著名的社会项目,但它包含了多类人员和机构在多个时间范围内以多种形式参加的多类活动,并可能与其它类似社会项目或活动相互结合与渗透.又如,图书馆作为提供文献信息服务的社会项目,承担了一系列的工作和活动,这些工作或活动的对象范围、延续时间、开展程度等都可能存在很大差异和变化。
因此,在开始任何评估研究之前,都必须明确被评社会项目的内容和范围.具休地讲,研究者应明确:
谁,在什么时间范围,为了什么目的,以什么形式,以谁为对象,在什么地理范围开展了什么活动,这些活动的状态或程度通过什么指标来具体度量。
这里需要注意几种情况:
a.多重、交叉活动.许多社会项目通过多个活动来实现其
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 第十一章 评估研究方法 第十一 评估 研究 方法