ETS的判分员是如何工作的

2015年10月27日 美国高中选校




ETS官方网站上罗列出的测试产品有47项之多,其中有些考试可以由程序(E-Rater)判分,比如说我们熟知的TOEFL 听力和阅读。也有不少的考试项目必须由判分员(Human-Rater)判分,比如说TOEFL口语写作这一类的主观题(Construct Response)。


ETS的判分员来源多样,比如大学教授,中学教师,国际学校教师,美国高等院校考试测评专业学生。这些人要通过笔试,面试,和严格的筛选培训流程才能上岗。上岗后往往会被分配到某个考试的某个科目,专人专项判分。


一个成功达标的判分人可以在美国境内的任何地点登录在线判分系统判分。


当然他们要在指定的时间内登录,因为每个判分员在登录系统时,他/她的判分组长也会在同样时段内保证在线,以便监督判分公平性,和给予他们所需的指导和帮助。


成功登录后,每个判分员需要做当日校准(Daily Calibration)。在这个环节他们会判一些“预置答案”,这些口语录音已经由出题员,语言学学者,考试学者组成的专家小组提前定义好了分数。判分员会对这些答案进行“盲判”,当系统确认判分员给出的分数和专家小组提前预置的分数达到给定的标准时,判分员才会被分配真实考生的答案,并对它们进行判分。


在当天的真实考试判分过程中,系统还会给他们随机分配这样的“预置答案”,以便于监控全天判分过程中的准确度。


在真实判分的过程中,他们也能获得很多帮助。这包括判分原则,标答参考,组长沟通。


判分原则也就是官方提供的答案标准。


标答参考也叫做Benchmark,以TOEFL口语为例,判分系统上备有4,3,2,1,0各个档位的标准答案,供判分员随时参考以便矫正自己的准确度。如果判分原则和标答参考还不足以帮助判分员界定某些答案,那么他们可以呼叫自己的小组长,小组长会在线和判分员沟通,一起评判这个答案,界定分数。


ETS还会定期对判分员的数据进行抽查,以保证考生能获得公平科学的成绩。不合格的判分员会被回炉培训,甚至辞退。为了避免有些教师遇到自己学生的答案,在一些美国本土的考试中,ETS会故意混搭邮政编码,来保证来自纽约市的判分员不会判到来自纽约市的学生试卷。


他们也会在培训过程中和判分员强调,必须看完整个文章或听完完整口语录音才下定论给分。


比如说系统会强制一个60秒的口语答案被完整播放完,判分员才能在界面上评分。有趣的是:ETS的培训官员还会和判分员强调:哪怕有些学生口出狂言,在口语考试中说脏话,你也要把答案听完,也许最后有几句英文,多多少少也是可以给个一分之类的。


总而言之,ETS是个严谨负责的机构,做事态度更是精益求精,我们所有的考生还是要认真对待自己的分数。


当然人无完人,再严谨的系统都会有误差,ETS也给我们提供了复议的选择。中国考生对复议还是不复议经常拿不准。ETS给出的回答是:当考生特别自信的认为自己的答案被误判了,就应该复议。


收藏 已赞