摘要: 分析一个西方的评分系统，自然而然的要去找很多英文研究资料来进行分析。 在ETS的网站里面，比较权威的是这么几个资料： 1 Automated Essay Scoring With e-rater V.2 2 Automated scoring using a hybrid feature ident ...
分析一个西方的评分系统，自然而然的要去找很多英文研究资料来进行分析。
在ETS的网站里面，比较权威的是这么几个资料：
1 Automated Essay Scoring With e-rater V.2
2 Automated scoring using a hybrid feature identification technique (PDF)
3 Benefits of modularity in an automated scoring system (PDF)
4 Enriching automated scoring using discourse marking (PDF)
5 Using lexical semantic techniques to classify free-responses (PDF)
这几个材料都可以在http://www.ets.org/research/erater.html下载得到。
从这些材料之中，我们可以发现有几个点是要因此我们注意的：
第一：人工评分依然存在，人工在托福考试评分的过程之中，起到的是对于内容的监督作用，而e-rater则是起到了对于逻辑，语法，以及连接词的识别。所谓语法，一个很简单的例子，你不能在复数名词前面加上不定冠词，类似于a/an之类的单词，这就是对于语法的检查，除此之外连接词也是重要的考察点，如果我们在托福考试之中多运用类似于however，and，whereas这样的单词，系统就会默认我们有很强的逻辑性，因此也会给我们相对更好的分数，因为这些单词的本身就代表逻辑吗。而且ETS为了防止有人利用这样的漏洞，他们为了防止有人写出“我妈妈很爱我，但是（however）我爸爸也很爱我”的这样的话，而依然坚持要一内容的部分是由人工来进行评分。
2 E-Rater也有自身的弱点，如果我们多用连词，而且语法没有任何瑕疵，自然会给E-Rater系统一个好印象，要知道E-Rater系统我们其实可以把它想象为一个身处糖果店的孩子，这个孩子对于你糖纸里面的糖果，其实一无所知，只要他们看好了你的糖纸，就会毫不犹豫的给你更多的分数，这里的语法和连词就是起到了糖纸的作用，至于糖果是否甜美，也就是是否言之有物则是由人工来进行评分的。总结来说就是：重语法，加连词。
3 在研究报告里还提到了“单词向量”，所谓单词向量，其实非常简单，指的就是，在相同意思的情况下，你后面换用的单词与前面相同意思的单词意思相匹配的程度，理论有一点抽象，我们举一个生动的例子，比如说我们都知道soil指的是“土地”的意思，那么我们就会知道earth这个单词与soil这个单词就是一个正项量，换句话说就是一个好的换用，但是continent“大陆”就与soil的意思，里的就比较远，就不是一个恰如其分的替换。因此在这里面也有一个小窍门就是：多背同义词。
4 总结很重要，我们再次把E-Rater当做一个小朋友，这次把它扔到京剧王国里，我们给他们看无数的京剧，然后问他们喜欢谁呀？E-Rater小朋友就晕了，但是我们如果告诉他，白脸的都是坏人，于是小朋友们就笑了，他们知道曹操啊，赵高啊，陈水扁啊，就都是坏人。^_^因此，我们要多总结，在每一个段落的开始都要标明First，All in all之类的，这是我们再告诉E-Rater小朋友，我们在干嘛，免得他一头雾水。这里的一个小窍门就是：必总结！我们也有了一个毕姥爷^_^，大家都能上春晚了。
因此想跟E-Rater小朋友搞好关系的话，就要记住这个口诀：重语法——加连词——多背同义词——大家都有毕姥爷！（无老师突然觉得自己好幼稚-_-!!!!!!）
接下来，我们还应该注意一些小细节，其实据国内媒体报道，国内在几年之前，也就是新托福刚刚进入国内的时候，已经有些机构引入了E-Rater这个评分系统，但是在这次“无老师”搜集资料的过程中发现这些国内提供E-Rater评分的系统，几乎全部都进入瘫痪，换句话说，这个评分系统，其实没有带来什么实质性的改变，也没有给我们带来什么价值，除了ETS这个E-Rater的老东家还对E-Rater情有独钟外，很少有这个系统报以兴趣的机构。好了为了打高分，再次让我们背一遍口诀：重语法——加连词——多背同义词——大家都有毕姥爷！（无老师确实觉得自己好幼稚-_-!!!!!!）
PS：在研究的过程中找到了一些深度研究的资料，这里一次性放出来，希望能起到一个抛砖引玉的作用，无老师才疏学浅，希望各位一起研究。里面的《[原创]关于ETS的电子评分E-rater》与《独家原创：解密E-rater，ETS出品之电子评分器！》很有研究价值，强烈推荐！
下载地址：e-rater.rar
解压密码是：www.ibtsat.com
2010-10-21 11:17:08 沙发
评分器文件下载连接似乎出错了，能否更新一下呢，拜托了！
2009-08-31 00:18:38 板凳
[...] 对于E-Rater这个作文评分系统，“无老师”近期将写就另一篇文章专门对其进行分析http://www.ibtsat.com/archives/754，与大家分享。 iBT新托福作文评分系统E-Rater系统分析报告【无老师系列】12个工作日既让你得到iBT托福成绩【无老师系列】新增iBT新托福两套真题——《iBT新托福官方指南第3版》变化巨大申请美国、英国、澳大利亚大学必会100个英文单词【无老师系列】英语的自我诊疗法【单词篇】【无老师系列】无老师背单词法【无老师系列】新托福听力必备VOA standard标准语速(20090426-090427)【打包下载】新托福听力必备VOA standard标准语速(090311-090313)【打包下载】新托福iBT高频词2009年4月15日版新托福听力必备VOA standard标准语速【打包下载】 Author: noteacherwxl Categories: IBT 新托福, 新托福作文, 无老师系列 Tags: E-Rater, iBT writing, 新托福作文, 无老师系列 iBT新托福作文评分系统E-Rater系统分析报告【无老师系列】12个工作日既让你得到iBT托福成绩【无老师系列】新增iBT新托福两套真题——《iBT新托福官方指南第3版》变化巨大申请美国、英国、澳大利亚大学必会100个英文单词【无老师系列】英语的自我诊疗法【单词篇】【无老师系列】无老师背单词法【无老师系列】新托福听力必备VOA standard标准语速(20090426-090427)【打包下载】新托福听力必备VOA standard标准语速(090311-090313)【打包下载】新托福iBT高频词2009年4月15日版新托福听力必备VOA standard标准语速【打包下载】 Comments (3) Trackbacks (1) Leave a comment Trackback [...]
2009-08-27 23:49:21 3#
何不给我发邮件，大家聊聊。
noteacherwxl#gmail.com （将#换为@）
2009-08-27 23:16:25 4#
终于有人看出端倪了。
无老师，您很强，离真相真得差一步了。
谷歌的英至其他语言翻译系统起初在设计的时候曾经使用过一套英语修辞法，这个修辞法早在1916就被比较文学证明确立，但是最终谷歌还是决定使用基于索引数据的概率选择机制来实现它的翻译系统，因为这样做的泛用性很强，不只是英语，其他语言都可以用。
而关键在于现在正要上马的E-Rater就全盘使用基于这套修辞法的逻辑意义关系生成系统来评分甚至辅助出题，那就是陈氏修饰法。
当时谷歌之所以会用陈氏修辞来做翻译系统就是因为这套方法不但极端正确而且非常适合做字符系的编译系统。
在我还没转行前，公司曾经请来上外的一位老教授来上课，讲得就是陈氏修辞，但只是部分内容，因为所谓的陈氏修辞本来就是不存在的，是后人给的名称。这套修辞法起初只是陈氏在牛津大学时，为了证明“在所有语言中都有三性并以谓语性为核心”的理论时，顺便带出了这套修辞法。
因为当时讲座的内容没有被完全记录下来，但记录下的9页纸已经可以完整地体现出这套方法。本来国内是有相关的中文笔记的，但在文革时被全灭了。那位上外的老教授之所以知道这些就是因为当时在厦大听过陈氏的课，之后他还写过一本语法书，虽然不完整甚至有些地方还有谬误，但核心理论几乎完全套用了陈氏修辞，可惜这本书现在已经买不到了（貌似可以订印挺贵的）。
后来公司就按照这套修辞法来开发逻辑意义关系生成系统，开发过程非常顺利，就是因为这套方法简直就是为计算机量身定做的。虽然最后谷歌没有采用规则输入系统，但还是按时全部付清了项目款。
或许看到这里你已经猜到了，现在ETS使用的就是这个系统（现在应该是改良版了），我们曾经在开发的时候结合陈氏的同感理论整出了个“麻辣烫的故事”（如果有上过我的私活课的同学看到这里应该知道）
XDF有个牛津毕业的老师（现在是小头头了）曾经看过那9页纸的PDF影印版。起先我提过教案给她建议开设修辞法的课，被否决了，后来我就在干私活的时候给高中生上这套修辞法（虽然干私活是默认的，但还是被领导用闻香识女人这部电影在开会时给影射了一把），效果甚佳，几乎每位同学都体会到了正规学校英语老师讲授内容和方法的错误性。
事后想想也对，因为了解这修辞法全貌的人很少（从借阅记录就可看出），但却极富价值；按照人类的本性，当然知道的人越少，掌握这方法的人就变得越不可替代，相对其他人的优势就越明显，就像古代的炼金术师那样。
我个人觉得ETS肯定会使用这套分析系统，我的学生的实践证明使用这套修辞原则写出的高考英语作文均在20+（25满分），并在对The Economist和HBR这样变态杂志的实验分析中都已经证明了陈氏修辞的极端正确性和科学性，到底是真正大师的作品，还是顺便带出来的产物。