Meaningful Measurement: Teachers and Test Making

In this paper we describe teacher-led efforts to develop and revise a set of large-scale, university-wide tests for an English language program at a university in Western Japan. We hoped through this work to create a common measurement scale so that student performance on different versions of the tests could reliably be compared. We discuss the challenges of implementing teacher-managed test development in our work context and raise concerns about the lack of attention paid to construct mapping in the initial stages of the test development cycle. Using data from the reading section of our test, we show how we wrote and piloted test passages and items which gave us better information for student placement and end-of-term assessment. Also, we explain how we used Rasch modeling to determine how test items performed. In addition to statistical analysis of test items, we also suggest that qualitative student feedback be used when considering items for test inclusion or exclusion. Finally, we conclude that ideal test construction is an iterative and time-consuming process that offers the most promise to institutions willing to take a long-term perspective. With proper institutional support teachers can play a leading role in test development. 

 

本稿は、西日本のある大学英語プログラムにおいて、教員が担当した大学全体で実施されるテストの開発と改善を報告するものである。まずある教育環境において教員がテスト開発を行う際に、影響を与える要因を検討し、テスト開発サイクルの第一段階で構成概念マッピングへの意識が希薄であったことを問題視した。次にリーディングセクションのテストデータを用いて、学生のレベル分けや学期末評価により正確な情報を与えるパッセージや問題の作成方法やパイロット法を示した。さらにテスト項目がどう機能したかを見出すため、どのようにラッシュモデルを用いたか解説した。統計的分析に加え、質的データとして学生からのフィードバックが項目決定に有効であることを提案した。最後に理想的なテスト構築は、時間と反復を要するプロセスであり、長期的視点を持つ教育機関が有望であると結論づけた。教育機関からの適切な支援のもと、教員はテスト開発にあたり先導する役割を担うことができる。