国家公务员结构化面试中评委偏差的IRT分析

心 理 学 报 2006,38(4):614~625 ActaPsychologicaSinica

国家公务员结构化面试中评委偏差的IRT分析

孙晓敏 张厚粲

(北京师范大学心理学院,北京100875)

*

摘 要 使用项目反应理论(IRT)中的多面Rasch模型,对两组共12名评委在国家公务员结构化面试中的评委偏差进行了分析。提出并验证了两种评委偏差:评委之间在宽严程度上的差异和评委自身的一致性问题。结果发现:不同评委之间在宽严程度上差异显著,且不同评委评定行为的跨考生、跨维度、跨性别、跨时间的自身一致性也存在差异。研究表明,这种进入到评委个体层次的分析突破了经典测量理论(CTT)定位于评委群体进行分析的局限,针对每位评委的偏差行为提供了详细具体的诊断信息,从而为评委的针对性培训和评委库的建立提供了现代测量学的新方法。

关键词 结构化面试,评委偏差,项目反应理论。分类号 B841

1 引言

1.1 结构化面试和评委偏差

面试是一种重要的人才评价选拔方法。按标准化程度可将其分为结构化面试、半结构化面试和非结构化面试。结构化面试是根据特定职位的胜任特征要求,遵循固定程序,采用专门的题集、评价标准和评价方法,通过评委小组与应考者面对面的言语交流等方式,评估应考者的胜任素质的人才测评过程和方法。

由于评委个体差异的存在,面试中评委的个人特征与测验项目、考生特点以及评定等级之间发生交互作用,从而表现出了评委自身以及评委之间宽严程度的不一致,这种不一致被称为评委偏差(Ra-terBias)。已有研究发现:面试中评委的个人特征,包括他们的知识背景、工作经验、评分过程的思考方

[2~5]

式、人格特征等因素都有可能导致评委偏差。 Littlefield等人的研究发现不同类型的评委(专家和人事部门职员)对考生同一表现的评定存在显著差异

[3]

[1]

委偏差进行的元分析表明:主要有两种评委偏差导致了分数变异,一是评委对评定等级的不同解释,二

[6]

是评委对同一测量目标不同的评价。McNamara总结了四种评委偏差,一种情况是某个评委从总体上来讲比其他评委更宽松,即评委间宽严尺度的差异;第二种情况是某个评委可能对某个特定的考生群体、或在某些特定种类的任务上表现得更加宽松,而在其他考生或其它任务上表现得更加严格;第三种情况是不同的评委以不同的方式理解和使用评定量表;最后一种情况是有的评委在整个评分过程中,自身的内在标准能够保持比较好的稳定性,而有的

[7]

评委则稳定性比较差。鉴于评委个体差异对评定过程的诸多影响,Cason等指出:考生的得分并不仅仅代表其真实能力水平,而是考生能力和评委特点的函数

[4]

。这里所说的评委特点包括评委的分

析能力、敏感性以及严格程度等。

[8]

由于已有研究表明评委偏差的存在对客观准确地评定考生水平产生了较大的影响,因此研究者们从多方面努力以减小评委偏差,提高测评信度。这些措施包括构建结构化的测验项目,使用标准化的评定准则和施测程序,并对评委进行充分的培训[9]

等。虽然以上这些措施排除了一部分在测验过程中对评定结果可能产生影响的因素,在一定程度

。专家对考生在不同维度上的表现能够

相对独立地进行判断,而人事部门的职员则容易根据整体印象进行评价。此外,评委对各个评分量表的不同理解也会影响评分的结果。Hoyt等人对评

收稿日期:2005-08-10

*北京师范大学青年教师人文社会科学研究基金项目。

通讯作者:孙晓敏,E-mai:lsunxiaomin@http://www.77cn.com.cn,电话:010-58802101

4期孙晓敏等:国家公务员结构化面试中评委偏差的IRT分析 615

上减小了评委偏差;但从总体上讲,这些方法对于评委长期形成的认知模式、决策风格和个人偏好等个人特点的改变十分有限,因此评委偏差对评定结果的影响依然存在。

如何更好的处理评委偏差对决策公正性造成的影响,这已成为面试理论和实践中面临的一个重大问题。运用测量理论在统计计算过程中排除评委偏差对评定结果的影响成为解决这类问题的一个重要思路。

在我国,对于面试中各种误差的研究还停留在比较初级的阶段。大多数对于面试的研究仍局限于经典测量理论(ClassicalTestTheory,CTT)的方法,即基于考生的原始分进行决策,对误差来源的分析也比较笼统。对于面试中最容易出现的评委误差,往往通过计算评委之间的一致性,如Kendall和谐

[11~13]

系数等加以分析。由于这类评分者一致性系数属于事后检验,且CTT测量指标的样本依赖性又限制了其在类似面试情境中的推广。因此,Kendall和谐系数等CTT提供的指标和方法对于面试决策科学水平的提高能够起到的作用非常有限。 鉴于CTT的局限性以及面试评分中的实际问题,本研究将项目反应理论(ItemResponseTheory,IRT)的最新发展$$多面Rasch模型(ManyFacetsRaschMode,lMFRM)引入结构化面试评委偏差的分析之中,为进一步提高结构化面试的科学性提供思路。

1.2 IRT和MFRM

与CTT不同,IRT认为测量的目标不是考生在特定测验上得到的真分数,而是由这个分数体现出来的考生能力。IRT中称这种能力为潜在特质。虽然潜在特质不能被直接测量,但受测者在测验项目上的表现与该项目所要测量的潜在特质之间存在着一种单调递增 …… 此处隐藏：21599字，全部文档内容请下载后查看。喜欢就下载吧 ……