基于AHP的自学考试助学组织评估指标体系及方法的.docx
- 文档编号:17981884
- 上传时间:2023-08-05
- 格式:DOCX
- 页数:19
- 大小:201.28KB
基于AHP的自学考试助学组织评估指标体系及方法的.docx
《基于AHP的自学考试助学组织评估指标体系及方法的.docx》由会员分享,可在线阅读,更多相关《基于AHP的自学考试助学组织评估指标体系及方法的.docx(19页珍藏版)》请在冰点文库上搜索。
基于AHP的自学考试助学组织评估指标体系及方法的
基于AHP的自学考试助学组织评估指标体系及方法的研究
高洪军
1.研究的背景
1.1自学考试的改革与发展
当今时代,强化教育的育人功能,提高受教育者的素质,是各类学校、各种教育形式的共同理念。
高等教育法明确规定自学考试是一种高等教育制度,它是我国高等教育的组成部分。
目前,自学考试的学业评价以国家考试成绩作为唯一的评价手段,应该说有一定局限性,虽然强化了学业评价的平等性,但是削弱了全面性与客观性。
就目前的考试手段,很难对考生的能力、特别是素质进行有效的测评。
所以,研究、建立自学考试考生学业综合评价体系,把考生平时学习与表现情况纳入总体评价,是实现自学考试向考试与学习过程并重转变的关键,也是完善自学考试教育制度的重要任务。
开展自学考试考生学业综合评价,是通过建立考生平时学习成绩考核、认定办法,将考生的学习过程考核成绩与国家考试成绩结合起来,一并纳入自学考试考生学业评价体系,使个人自学、社会助学和国家考试三者更加紧密地有机结合起来,引导、激励自学考试考生全面发展,全面提高综合素质。
自学考试的社会助学以民办教育为主体。
民办教育目前在我国尚属探索发展时期,许多助学单位在办学条件、规范管理、教职工队伍的素质和稳定性等诸多方面都存在不足。
基于此,推行学业评价改革的前提就是要对助学单位进行必要的评估。
1.2教育评估的研究与完善
目前,无论是从理论研究,还是从实践层面上,一个具有中国特色的教育评估体系正在形成。
在教育活动的各个领域、各个层次开展了广泛的教育评估活动,包括全国的、地区的、学校的、学科的、教师的、学生的、校长的各种评估,教育工作者制定了相当数量的各种评估方案或质量标准。
但不可否认的是大都存在一定的局限性,主要表现为如何测量评估指标。
事实上,教育现象的不确定性主要表现为随机性和模糊性,对教育现象做出明晰而精确的描述是非常困难的。
目前,对学校的评估已经从过去的定性评估过渡到定性与定量相结合,以定量为主的评估方式,并在设置评估指标体系时强调指标的量化。
评估的本质是主观的评测,所以这从理论层面确实是个挑战。
但从具体的操作层面无疑是一个折中的选择,针对大规模的评估则又是明知的抉择。
依笔者之见,强调指标的量化还远不够、应该全部量化,毕竟评估者很难得出客观的定性结论。
指标的量化能更有效促进评估工作的组织,前提是选择适当方式将定性因素转化为定量因素。
2.自学考试助学组织的评估指标体系及评估模型
2.1评估指标体系
2.1.1评估指标体系的特征
助学组织的的评估要受到各种因素的制约。
因此,评估指标体系的设计,需要深入了解影响评估的各种因素及其特征,分析它们之间内在关系,在遵循全面与科学性、系统性等原则上,建立正确、客观的评估指标体系。
另外,要体现客观与可测性、可比与相容性、定量评估与定性评估相结合和动态指标与静态指标相结合等方面的要求。
2.1.2助学组织评估的指标体系
为了科学合理地对助学组织进行综合评估,评估的指标体系应在遵循上节所给出的原则基础上,从影响学校工作的诸多因素中,选择主要的能从不同角度反映总体情况的关键因素作为指标体系的内容。
自学考试的教育、教学活动广泛,评估的要求也不尽相同。
有行政部门的年度评估、管理部门的示范评选和学业综合评价等。
其形式相似,内容要求不同,在本文中以北京自学考试的示范助学组织评选指标体系作为解剖对象来做说明。
经分析和研究,将助学组织评估指标体系设计成三层结构。
第一层是助学组织的综合评估;第二层为综合评估的六个主要方面(一级指标)包括基本条件、教学管理、行政管理、教学条件、教学效果和助学行为;第三层是将第二层的六个一级指标分解成的若干个二级评估指标。
2.2助学组织评估指标体系的算法模型
2.2.1评估指标体系结构
助学组织的评估属于多目标决策问题,在评估模型方面应根据层次分析理论,按指标的层次关系和隶属性关系逐层分解,形成层次分析评估模型。
所以,本文设计的如图2-1所示的助学组织评估指标体系结构,是采用经典评估的结构,一般设置一级指标Fn、二级指标Fnn和测评点。
2.2.2综合评估—线性加权模型
此模型是针对大规模教育评估设计的数学模型。
这是定性指标定量化管理的有效手段[1-3]。
以两级指标体系为例,对于第i个一级指标,第k个专家的评估结果如下:
表2-1专家评估结果示例
第i个一级指标中的二级指标
…
第k个专家的评估量化值
…
第k个专家对第i个一级指标Fi的评估值:
第k个专家的综合评估值
合成各专家意见,得出总体评估值
其中,
且
——反映第k个专家的权重,由评估组织者确定。
若各专家水平相当,则可取
2.3评估指标体系权重算法的研究
2.3.1AHP层次分析方法概述
2.3.1.1评估算法与选择AHP算法
线性加权评估模型的基础就是将评估体系的指标量化,即要取得指标的权重。
无论是定量指标还是定性指标,都必须按照统一的量化方式处理,用同一的量纲衡量。
为了解决评估体系指标的权重量化。
本文将依据评估需求和AHP优势,提供一个有效的解决途径。
2.3.1.2AHP的背景及发展
层次分析法(AnalyticHierarchyProcess,简记AHP)在20世纪70年代中期由美国匹兹堡大学著名的运筹学家萨迪(T.L.Satty)教授等人在为美国国防部研究“根据各个工业部门对国家福利的贡献大小而进行电力分配”课题时,应用网络系统理论和多目标综合评价方法,正式提出的一种定性与定量分析相结合的多准则决策方法。
它是指将决策问题的有关因素分解成目标、准则、方案等层次,在此基础上进行定性分析和定量分析的一种决策方法。
它把人的思维过程层次化、数量化,并用数学为分析、决策、预报或控制提供定量的依据。
这一方法的特点,是在对负责决策问题的本质、影响因素以及内在关系等进行深入分析之后,构建一个层次结构模型,然后利用较少的定量信息,把决策的思维过程数学化,从而为求解多目标、多准则或无结构特性的复杂决策问题,提供一种简便的决策方法。
尤其是适用于人的定性判断起重要作用的、对决策结果难于直接准确计量的场合。
层次分析法就是为分析这类复杂的社会、经济、教育以及科学管理领域中的问题提供了一种实用的决策方法。
2.3.1.3AHP与其它算法的比较
综合评估的具体方法有许多种,各种方法的总体思路是统一的,大致可分为熟悉评估对象、确立评估的指标体系、确定各指标的权重、建立评估的数学模型,分析评估结果等几个环节。
其中确立指标体系、确定各指标权重、建立数学模型这三个环节是综合评估的关键环节。
(1)AHP法的优势与局限
AHP层次分析法是一种强有力的系统分析加运筹学方法,对多因素、多标准、多方案的综合评价及趋势预测相当有效[4]。
它不仅适用于存在不确定性和主观信息的情况,还允许以合乎逻辑的方式运用经验、洞察力和直觉。
面对由“目标层+准则层+方案层”构成的递阶层次结构决策分析问题,给出了一整套处理方法与过程。
AHP法最大的优点是可以简单明了地处理定性和定量相结合的问题,可以将决策者的主观判断与政策经验导入模型,并加以量化处理。
AHP从本质上讲是一种科学的思维方式[5]。
①AHP法的主要优势
Ø面对具有层次结构的整体问题综合评价,采取逐层分解,变为多个单准则评价问题,在多个单准则评价的基础上进行综合;
Ø为解决定性因素的处理及可比性问题,以“重要性”(数学中表现为权重)比较作为统一的处理格式。
并将比较结果按重要程度以1至9级进行量化标度。
Ø检验与调整比较链上的传递性,即检验一致性的可接受程度;
Ø对汇集全部比较信息的矩阵集,使用线性代数理论与方法加以处理。
挖掘出深层次的、实质性的综合信息作为决策支持。
②AHP法的局限性
ØAHP法也有致命的缺点,它只能在给定的策略中去选择最优的,而不能给出新的策略;
ØAHP法中所用的指标体系需要有专家系统的支持,如果给出的指标不合理则得到的结果也就不准确;
ØAHP法中进行多层比较的时候需要给出一致性比较,如果不满足一致性指标要求,则AHP法就失去了作用;
③AHP法的关键
层次分析法的关键在于,层次结构要合理,这需要对具体问题细心的调查研究。
尽管求解权重系数有较大的计算量,但一旦求出来,便可在一定范围内普遍适用。
如果所选的要素不合理,其含义混淆不清,或要素间的关系不正确,都会降低AHP法的结果质量,甚至导致AHP法决策失败。
(2)权重系数的精确测度
目前,权重系数的精确测度主要有“专家咨询法(Delphi)、层次分析法、二项系数加权法、环比评分法”等。
其中比较有代表性的、较成功的主要是Delphi法和AHP法。
而且,权重系数的确定基本上已由个人经验决策转向专家集体决策,比如评委投票表决法(简化了的Delphi法)等等。
Delphi法是邀请多位专家匿名赋值,多次论证后求均值。
其优点在于容易为人接收、有较高的说服力;缺点在于经验判断、无过程验证,不一定符合实际情况。
AHP法是目前使用较多的一种确定权重的方法。
此法对各指标之间的重要程度的分析更具逻辑性,再加上数学处理,可信度较大,应用范围较广,它由于具有坚实的理论基础、完善的方法体系而深受欢迎,并在实践中创造了多种多样的变形方法。
本文中确定权重采用AHP法,就是利用其优势,并规避、弱化其不足。
2.3.2基于AHP的评估指标体系权重的测算方法
2.3.2.1构造评估算法的层次分析结构
(1)评估算法各因素分析
助学组织评估指标是依照现行的北京自学考试示范助学组织评选的指标体系,它包括基本条件、教学管理、教学效果等。
指标和标准的科学性,是教育、管理专家和决策者所考虑的问题。
当然我们也聘请了相关专家进行了充分的论证,只是本文中对此问题暂不讨论。
在这里是从算法层面解决评估指标的公正和实用性。
(2)构造算法层次分析结构图
建立一个多层次的递阶结构,按目标的不同、实现功能的差异,将算法分为几个等级层次。
层次结构建立在管理者(或分析者)对问题全面深入认识的基础之上。
根据对问题的初步分析,将问题包含的因素,按照是否共有某些特性将他们聚集成组,并将它们之间的共同特性看作为新的层次中的一些因素;而这些因素本身也按照另外一组特性被组合,形成另外更高层次的因素,直到最终形成单一的最高因素,这往往可以看作决策分析的目标。
这样即构成目标层,若干准则层和方案层的层次分析结构模型。
在评估算法运用中,结合评估中不同因素的重要程度形成了结构图。
图2-2就是依据北京自学考试示范助学组织评选的指标体系的分析,构造出的层次分析结构图。
2.3.2.2构造判断矩阵
(1)对各层因素进行两两比较
确定以上递阶结构中相邻层次因素间相关程度。
通过构造两两比较判断矩阵(正互反矩阵)及矩阵运算的数学方法,确定对于上一层次的某个因素而言,本层次中与其相关因素的重要性排序——相对权重。
n个因素u1,u2,…,un,两两比较其重要性共要比较n(n-1)/2次。
第i个因素u1与第j个因素uj重要性之比为aij。
问题是如何得出aij的值。
AHP采用1–9比例标度来确定aij;这是AHP的特点,也是优点。
本来,n个因素比较n–1次,即可确定顺序,为什么要比较n(n-1)/2次呢?
这是由事物的复杂性和决策人的局限性决定的,事实证明,n个因素按重要性只有两两比较,才能揭示重要性的内在规律,仅仅比较n–1次是绝对不行的,因为只比较n–1次,其中若有一次失误,则排序就将遭到破坏。
而两两比较可减少失误。
判断矩阵的因素赋值如表2-2。
表2-2:
AHP1-9标度的含义
标度
含义
1
表示两个因素具有同样的重要性
3
表示一个因素比另一个因素稍微重要
5
表示一个因素比另一个因素明显重要
7
表示一个因素比另一个因素强烈重要
9
表示一个因素比另一个因素极端重要
2、4、6、8
为上述相邻判断的中值
判断矩阵形如下表。
表2-3判断矩阵
A
A1
A2
…
An
A1
a11
…
a1n
A2
a21
…
a2n
…
…
An
an1
an2
…
ann
两两比较两个因素的重要性,总是在某种准则(准则层比较是以总目标为准则,方案层比较分别以准则层中各因素为准则)下进行的。
至于为什么取1–9比例标度,而不取别的?
是因为人们直觉最多只能判断出9个等级的差异,再细的差异,人的直觉是分辨不出来的,而两两比较判断矩阵是领域专家靠感觉去分辨和构造的。
从理论上讲,用1–15比例标度也未尝不可,只是人的直觉分辨不出来。
对于n个物体,两两比较其重要性得判断矩阵A=(aij)n×n,显然aij满足:
aij>0,aij=1/aji,aii=1,共计n(n-1)/2个判断,所以A是正的互反矩阵,且对角线上因素为1,这样的n阶矩阵可表示为上三角或下三角矩阵。
但A的因素aij通常不具有传递性,即aijajk≠aik,这是由事物的复杂性和人的认识的局限性造成的。
如果aijajk=aik成立,则称A是一致性矩阵。
从判断矩阵A出发到导出因素在某种准则C下按重要性大小的排序,矩阵A的一致性起着至关重要的作用。
(2)构造比较判断矩阵
基于经典评估的指标结构与AHP层次分析方法结构的共同性,给采用AHP方法解决评估指标的权重提供了可能性。
它通过共同的价值尺度—指标的重要性来量化权重,从而实现以定量为主的评估方式。
按照AHP层次分析1–9比例标度的说明和专家对评估指标认识的具体案例(见2-6表),具体构造两两比较判断矩阵。
以下是根据评估指标和专家的评价结果列出各个判断矩阵实例:
表2-4一级指标判断矩阵
示范性助学组织评估
示范性助学组织评估
行政管理
教学管理
教学条件
教学效果
助学行为
行政管理
1
0.1667
1
1
0.3333
教学管理
6
1
6
6
2
教学条件
1
0.1667
1
1
0.3333
教学效果
1
0.1667
1
1
0.3333
助学行为
3
0.5
3
3
1
行政管理、教学管理、教学条件、教学效果和助学行为的判断矩阵略。
2.3.2.3判断矩阵的一致性检验
(1)一致性检验的意义
在上述过程中建立起了判断矩阵,使得判断思维数学化,简化了问题的分析。
此外,这种数学化的方法还有助于决策者检查并保持判断思维的一致性。
应用AHP法,保持判断思维的一致性是非常重要的。
所谓判断思维的一致性是指专家在判断指标重要性时,各判断之间协调一致,不致出现相互矛盾的结果。
在多阶判断的条件下出现不一致,极容易发生,只不过在不同的条件下不一致的程度是有所差别的。
对于实际问题建立起来的判断矩阵往往满足不了一致性,造成这种情况的原因是多种多样的,如由于客观事物的复杂性、人们认识上的多样性和可能产生的片面性。
要求每一个判断都有完全的一致性显然不太可能,特别是因素多规模大的问题更是如此,但是,要求判断具有大体上的一致性是应该的。
若出现甲比乙极端重要,乙比丙极端重要,丙又比甲极端重要的情况显然是违反常识的。
因此,为了保证应用层次分析法分析得到的结论合理,还需要对构造的判断矩阵进行一致性检验。
这种检验通常是结合排序步骤进行的。
(2)判断矩阵的一致性检验
根据矩阵理论可以得到这样的结论,即如果
,
,…,
是满足式
的数,也就是矩阵A的特征根,并且对于所有的
,有
显然,当矩阵具有完全一致性时,λ1=λmax=n,其余特征根均为零;而当矩阵A不具有完全一致性时,则有λ1=λmax>n,其余特征根
,
,…,
有如下关系:
由上述结论得出,当判断矩阵不能保证具有完全一致性时,相应判断矩阵的特征根也将发生变化,这样就可以用判断矩阵特征根的变化来检验判断的一致性程度。
因此,在层次分析法中引入判断矩阵最大特征根以外的其余特征根的负平均值,作为度量判断矩阵偏离一致性的指标,即用
检查决策者判断思维的一致性。
显然,当判断矩阵具有完全一致性时,CI=0,反之亦然。
从而有:
CI=0,λ1=λmax=n,判断矩阵具有完全一致性。
另外,当矩阵A具有满足一致性时,λmax稍大于n,其余特征根也接近于零。
不过这种说法不够严密,必须对于“满足一致性”给出一个度量指标。
衡量不同阶判断矩阵是否满足具有满意的一致性,还须引入判断矩阵的平均随机一致性指标RI值。
对于1-9阶判断矩阵,RI的值分别列于下表中。
表2-5RI值
1
2
3
4
5
6
7
8
9
0.00
0.00
0.58
0.90
1.12
1.24
1.32
1.41
1.45
在这里,对于1、2阶判断矩阵,RI只是形式上的,因为1、2阶判断矩阵总是具有完全一致性。
当阶数大于2时,判断矩阵的一致性指标CI与同阶平均随机一致性指标RI之比称为随即一致性比率CR。
当
时,即认为判断矩阵具有满意的一致性,否则就需要调整判断矩阵,使之具有满意的一致性。
判断矩阵一致性检验通常是伴随层次排序进行的。
2.3.2.4层次单排序
通过层次单排序可以测算指标体系的权重
计算出某层次因素相对于上一层次中某一因素的相对重要性,这种排序计算称为层次单排序。
具体地说,层次单排序是指根据判断矩阵计算对于上一层次某因素而言本层次与之有联系的因素重要性次序的权重。
理论上讲,层次单排序计算问题可归结为计算判断矩阵的最大特征根及其特征向量的问题。
但一般来说,计算判断矩阵的最大特征根及其对应的特征向量,并不需要追求较高的精确度。
这是因为判断矩阵本身有相当的误差范围。
而且,应用层次分析法给出的层次中各种因素优先排序权重从本质上来说是表达某种定性的概念。
因此,一般用迭代法在计算机上求得的是近似的最大特征根及其对应的特征向量。
本实例中采用一种简单的计算矩阵最大特征根及其对应特征向量的方法——方根法。
(1)计算判断矩阵每一行因素的乘积Mi
,i=1,2,…,n
(2)计算Mi的n次方根
(3)对向量
正规化
则
即为所求的特征向量。
(4)计算判断矩阵的最大特征根λmax
其中(AW)i表示向量AW的第i个因素。
根法是一种简便易行的方法,在精度要求不高的情况下使用。
除了根法,还有和法、特征根法、最小二乘法等。
结合实例,利用这种方法,容易对各判断矩阵的各层次单排序进行计算以及求得一致性检验结果。
(具体过程略)现将结果在表2-6中列出:
表2-6评估指标权重的生成及结论
一级指标
1-9度专家估测
指标分值
调整后指标分值
二级指标及分值
1-9度专家估测
指标分值
调整后指标分值
二、行政管理
1
8.33
15
2-1、领导班子
1
2.083
3
2-2、管理机构及管理人员
1
2.083
3
2-3、制度建设
1
2.083
3
2-4、资产及财务管理
0.333
0.694
2
2-5、安全工作
0.333
0.694
2
2-6、多址办学
0.333
0.694
2
三、教学管理
6
50
30
3-1、管理队伍
1
8.335
5
3-2、师资队伍
1
8.335
5
3-3、教学管理制度
1
8.335
5
3-4、教学计划、教学大纲
1
8.335
5
3-5、教学质量监控
1
8.335
5
3-6、素质教育
1
8.335
5
四、教学条件
1
8.33
15
4-1、教学环境
1
0.833
3
4-2、教学设备
3
2.499
4
4-3、教学服务设施
3
2.499
4
4-4、教学经费
3
2.499
4
五、教学效果
1
8.33
15
5-1、学生对教学质量的满意率
1
2.776
7
5-2、通过率
2
5.554
8
六、助学行为
3
25
25
6-1、自考政策执行
1
0.943
2
6-2、教考分离
3
2.39
3
6-3、招生宣传
3
2.39
3
6-4、自考教材
3
2.39
3
6-5、社会评价
1
0.943
2
6-6、合同履行
1
0.943
2
6-7、助学管理
5
5.344
4
6-8、考风与考纪
7
9.66
6
注:
一级指标中的“一”为基本条件的判断,故略去;权重已按比例调整为指标分值。
至此,已测算出各级指标的权重。
其若能与前节所述的Delphi法的赋值结合使用,将得出更为合理的结论。
评估指标体系权重结论的生成
数据的修正及结论的形成:
AHP测算出的各级指标的权重与Delphi法的赋值结合使用,将得出更为合理的结论。
根据专家意见,每个二级指标的权重至少为2分,以便于测评出具体的差异。
所以,二级指标条款数较多且权重最低的一级指标—行政管理中的2-4、2-5、2-6需要调整权重。
二级指标2-4、2-5、2-6为最低的2分,2-1、2-2、2-3比之稍微重要应为3分,则行政管理权重应为15分。
教学条件和教学效果与行政管理同样重要,两者的权重也应为15分。
按照4-2、4-3、4-4同样重要应该同分及4-1分值稍低的分配原则,4-1为3分,4-2、4-3、4-4为4分。
5-1与5-2差别也不大,基本平均分配权重,分别为7分和8分。
教学管理权重最高,从中适当扣减20分后来弥补行政管理、教学条件和教学效果的加权,但仍能保持最高。
因此,助学行为的权重就保持25分不变了。
教学管理中的各二级指标重要程度相同,将其权重平均分配即可、分别为5分。
助学行为中三个2分、三个3分、一个4分和一个6分,与专家的重要性测度也基本一致。
调整后的各级指标权重已按比例调整为指标分值并在表2-12中已经分别列出,这也是北京自学考试示范助学组织评选的评估指标体系权重的依据,并在评估工作中得到实际应用。
3.结论
AHP层次分析法,把复杂问题分解成各个组成因素,又将这些因素按支配关系分组,形成递阶层次结构。
各层次中诸因素的相对重要性是通过两两比较的方式来确定的,然后由决策者来判断,确定决策方案相对重要性的总的排序,这将使评估的结果更科学、更具有广泛的民主性。
同时,能够排除人为因素对评估结果的影响。
其核心是把所研究的复杂问题看作一个大系统,通过对系统的多个因素的分析,划分出各因素间相互联系的有序层次,建立数学模型,并计算出每一层次全部因素的相对重要性的权重,加以排序,最后根据排序结果决策和选择解决问题。
这种方法的特点是对复杂的决策问题的本质、影响因素及其内在关系等进行深入分析的基础上,利用较少的定量信息使决策的思维过程数学化,从而为多目标、多准则或无结
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 AHP 自学考试 助学 组织 评估 指标体系 方法