An Exploratory Reliability and Content Analysis of the CEFR-Japan’s A-Level Can-Do Statements

Page No.: 
Judith Runnels, Hiroshima Bunkyo Women’s University

Both the Common European Framework of Reference (CEFR) and the CEFR-Japan (CEFR-J), an alternate version designed for Japanese learners of English, provide measurements of language proficiency via assessment or self-assessment on scales of descriptors of communicative competences (known as can-do statements). Although extensive empirical evidence supports these claims for the CEFR, the same cannot yet be said of the CEFR-J. Mokken scaling was thus used to measure the reliability of can-do statement scales from the five skills of the CEFR-J’s five A sublevels of A1.1, A1.2, A1.3, A2.1, and A2.2. Statements that negatively affected the reliability of the scale were analysed. Lower reliability was attributed to characteristics specific to participants (homogeneity of the population, familiarity with the task, and if the material was recently studied), and content of the statement itself (whether it implied more than one language skill or none at all, whether it contained a contradiction, or was confusing or unfamiliar). Modifications to increase the reliability of can-do statement scales and limitations of using illustrative descriptor-based systems as measurement instruments are discussed.

ヨーロッパ共通言語参照枠(CEFR)とその日本版CEFR-Jはともにコミュニケーション能力を示す指標(can-do statements)であり、評価あるいは自己評価による言語運用能力の測定を目的としている。CEFRにはその主張を裏付ける根拠が豊富にある一方で、CEFR-Jには未だ十分な裏付けがあるとは言い難い。そこで本研究は、CEFR-Jの5つのA sublevelについて5技能に関わるcan-do statementの信頼性をMokken スケールを用いて測定した。信頼性に否定的な影響を与えた指標をさらに分析したところ、信頼性の低さは学習者特有の特徴(母集団の均一性、課題に対する慣れ、最近学習された項目か否か)と指標そのもの(2つ以上の言語技能に関係している、言語技能に関係していない、矛盾がある、あいまいでわかりにくい)に起因するものであった。Can-do statementsの信頼性を高めるための修正に関する提案と、ディスクリプタを用いた指標を使用することの限界についての考察を行った。