Abstract
Rater effects in performance testing is an area in which much new research is needed (Myford, personal communication, 23 February, 2010). While previous studies of bias or interaction effect as a component of rater effect have employed experienced teachers as raters (e.g., Schaefer, 2008), the present study uses many-facet Rasch measurement (MFRM) to investigate differential rater effect or rater severity or leniency among three rater types: self-assessor, peer-assessor, and teacher assessor. Essays written in English by 188 Iranian English majors at two state-run universities in Iran were rated both by the students themselves as self-assessors and peer-assessors and by teachers using a 6-point analytic rating scale. MFRM revealed differing patterns of severity and leniency among the three assessment types. For example, self-assessors and teacher assessors showed the opposite pattern of severity and leniency as compared with peer-assessors when assessing the highest and lowest ability students. This study has implications for the use of peer and self-rating in L2 writing assessment.
評定者効果は今後新たな研究が求められる分野である（Myford, personal communication, 2010年2月23日）。評定者効果の構成要素の一つであるバイアスや交互作用効果に関する従来の研究は、経験豊富な教員を評定者としたものであるが（Schaefer, 2008）、本研究では多相ラッシュ測定（MFRM）を用い、自己評価、学習者間評価、教員評価の3タイプ間における評定者効果ないし評定者の厳格さ／寛容さを調査した。イランの州立大学2校の188名の英語専攻の学生の書いたエッセイを対象に、自己評価、学習者間評価者として学生たち自身の評価、および教員による6段階分析評定法により評価を行った。MFRMにより、この３つの評価タイプに、厳格さ／寛容さにおいて異なるパターンがあることが明らかになった。例えば、最も能力の高い学生と最も能力の低い学生に対する自己評価と教員評価は、学習者間評価とは反対のパターンの厳格さ／寛容さを示した。以上をふまえL2ライティングの評価における学習者間評価と自己評価使用に関する示唆を与える。
