Point-to-Point: Problems in Automating Brown’s EFL Readability Index

Page No.: 
197
Writer(s): 
Brett Reynolds, Michael Geffon, Sakuragaoka Girls' Junior and Senior High School

Brown (1998) developed a readability index using the difficulty of 50 cloze passages as the dependent variable. Four independent variables were combined to calculate the index: the number of syllables per sentence, the average frequency of 30 targeted words elsewhere in the passage, the percentage of words with seven or more letters, and the percentage of function words. The index correlated strongly with passage difficulty (r =.74). In the process of writing a computer program to automate these calculations, we found a number of inconsistencies within Brown’s article and between Brown’s calculations and our own. We also found procedural problems that would limit the generalizability of the index. In a series of personal communications with Brown (December 2001 to March 2002) we were unable to reconcile all discrepancies. Based on our calculations, the best correlation with the difficulty of the cloze passages was found to be r =.64, suggesting that the value of an EFL readability index remains to be convincingly demonstrated.

Brown(1998)は50個のクローズテスト難易度を従属変数にし、それに基づいて「外国語としてのリーダビリティー推定値」を考案した。推定値の関数には次の4つの独立変数を使う(1文あたりの音節数、単語の平均出現頻度、7文字以上の単語の占める割合、機能語の占める割合)。「英文難易度」と推定値との間には、強い相関があることが発表された(r =.74)。しかしながら、我々が推定値を自動的に計るソフトを作成しているときBrownの発表した結果とソフトが計量した結果との間に矛盾が生じた。その上、推定値の一般化には限界があるという問題も見つかった。Brownとの個人的なやり取り(2001年12月〜2002年3月)をした上で、全ての問題を解決することはできなかった。我々の計算ではBrownの推定値と英文難易度との相関はr =.64という結果が出たので、「外国語としてのリーダビリティー推定値」については未確認といえるだろう。

PDF: