発表資料：清水真紀.
(2005). 「リーディングテストにおける質問タイプ：パラフレーズ・推論・テーマ質問と処理レベルの観点から」.
STEP Bulletin, 17 (第17回英検研究助成報告), 48-62.
概要：リーディングプロセスの観点から、英検、TOEFL、大学入試センター試験のテスト構成を明らかにし、さらに上位・下位レベルの処理の概念も加え、これら異なるレベルの処理間にどのような関係があるかについて調べたものである。実験の結果、質問内容は項目困難度に影響を及ぼす重要な要因の1つであると考えられるということ、そして幅広い技能を含めたリーディング能力を測定する場合にはさまざまな内容の質問をテストに含めることの重要性が示唆された。
1.
本研究の目的
・目的を2つ設定
(1) 英検、TOEFL、大学入試センター試験のリーディングテストの質問文を読解プロセスの観点から、明示情報の理解、代名詞の照応などの理解、語彙の理解、文章構造の理解のカテゴリ別に分類した場合の違いがみられるかを明らかにすること。
(2) 質問を上記タイプに分類し、さらに上位レベルの処理、下位レベルの処理といった観点も加えた場合に、それらの項目困難度に違いがみられるか、そして、それら上位レベルの処理・下位レベルの処理に分類された質問の得点間にはどのような関係があるかについて調べること。
1.1
リーディングテストと質問タイプ
1.1.1
テスト細目表と測定するリーディング能力
・英検→文章中の明示的な情報の理解を問う質問、主題について問う質問などが多いことが予測
・TOEFL→明示的な情報に関する質問の他、読解の際に生成される推論についての質問、語彙に関する質問が見られることが予測
・大学入試センター試験→文章中に明示されている情報の内容について問う質問、テーマに関する質問、推論に関する質問が見られることが予測される。
☆文章理解・・・読解した文章からの情報と読み手の持っている背景知識からの関連情報を結合することで一貫した心的表象を形成すると考えられることから、リーディングテストにおいても、文章中に明示される情報を理解しているかということに加え、適切に推論を生成できているかについても評価することが重要
1.1.2
上位レベル処理と下位レベル処理
◯Grave (2000)による分類
・上位レベル…テキストモデル、状況モデルの構築など
・下位レベル…正書法処理、音韻処理、統語解析、命題の結合など
・本研究では、質問文や選択肢を言い換えることで文章中のある部分とおおよそ一致する質問→下位レベルの質問、テーマの理解及び文章構造の理解に関する質問→上位レベルの処理に分類
1.2
リサーチ・クエスチョンと仮説
リサーチ・クエスチョン：英検、TOEFL、大学入試センター試験のリーディングセクションの問題を内容により分類した場合、テスト構成に違いは見られるか
仮説1：上位に分類される質問のほうが下位に分類される質問よりも項目困難度が高い
仮説2：TOEFLで上位に分類される質問の得点とTOEFLで下位に分類される質問の得点との相関、及び、TOEFLで上位に分類される質問の得点と英検で下位に分類される質問の得点との相関は、中程度以下である
2.
調査1
2.1.1
使用したテスト
・2004年度第１回英検2級、TOEFL、大学入試センター試験のリーディングセクション（本研究の分類になじまないものは対象外として除いたもの）
2.1.2
手順
・英語教育学専攻の大学院生2名が各テストの質問タイプを(a)〜(f)の項目に分類。
(a)
パラフレーズ質問
(b) 推論質問（さらに8つに分類）
(c)
テーマ質問
(d) 指示質問
(e)
語彙質問
(f)
文章構造質問
2.2 結果と考察
・評価者の一致度は85%と高かった
・カテゴリごとに分類された項目数と全体に対する割合は表2のような結果になった
・以上のことから、TOEFLについては全てのカテゴリに質問がわたっており、さまざまな内容について問う構成がとられていたことがわかった。一方で、英検の質問の多くは明示的な情報について問う質問であった。センター試験はTOEFLと英検の中間ともいえる特徴をなしていることがわかった。しかし、文章が物語文であったこともあり、推論質問が若干多い構成になったのではないかということも予測される
3.
調査2
3.1.1
対象者
・さまざまな学問を専攻する日本人大学生、大学院生計200名
3.1.2
使用したテスト
・2004年度第１回英検2級および2004年度第1回英検準1級、TOEFL Practice Test A, Section 3
3.1.3
手順
一部の学習者に対しては授業時間内に実施したが、多くは授業時間外に実施。TOEFL、英検の順番でそれぞれ33分、25分間で実施。
3.2
結果と考察
3.2.1
記述統計
・英検の平均得点率→
.667点 (SD=0.205)
・TOEFLの平均得点率→ .534点 (SD=0.284)
3.2.2
分散分析の結果
・英検パラフレーズ質問、TOEFLパラフレーズ質問、TOEFL上位レベル処理の質問の平均値のいずれかの間に有意差があることが示された。
・テューキーHSDの多重比較による結果→5%水準でいずれの組み合わせにおいても差があることがし示された
つまり…TOEFL上位レベルの処理の質問がTOEFLと英検いずれのテストのパラフレーズ質問よりも困難度が高かった→仮説1を支持
3.2.3
相関分析の結果
・TOEFLでパラフレーズ質問に分類された項目、英検でパラフレーズ質問に分類された項目、TOEFLで上位レベルの処理に分類された項目のそれぞれの得点間の相関はいずれも中程度だった→仮説2を支持
4. 結論
○英検、TOEFL、大学入試センター試験のリーディング問題のいずれもパラフレーズ質問を多く含んでいたものの、パラフレーズ質問が全体に占める割合、カテゴリへの散らばり具合を見た場合には、テストによる違いがあることが明らかになった
○推論質問を多く含むテストであっても、さらに下位分類を行うと違いが見られる
⇒今後空所補充形式や真偽テストも対象にいれて研究をすることで、各リーディングテストの構成の違いといったものを明らかにすることができると考えられる
○上位レベルの処理とされた質問の項目困難度は下位レベルの処理とされた質問の項目困難度よりも高いことが示された
⇒質問内容は、項目困難度に影響を及ぼす需要な要因の1つであると考えられる
○上位レベルの処理と下位レベルの処理の質問の得点間には、中程度の相関があった
⇒80%弱は当要因では説明できないことを示すため、もし特定のリーディングの下位技能に限らず幅広い技能も含めたリーディング能力をテストで測定したい場合には、テスト作成上、さまざまな内容の質問を含めていくことの重要性を示唆
■Discussion Point
・実際にリーディングテストを作成する際、生徒の熟達度や十分でない部分を知るために具体的にどのような方法で項目困難度を調整するか
→小テストなどを実施して生徒の弱い点を確認して、ピックアップしたものを定期テストで出す。
→下位レベルの処理の質問は小テストや章末テスト、実力テストは上位レベルの処理の質問。
→テキスト内のものとテストで出される質問における語彙などが重ならないように工夫する
【感想】早稲田大学の入試問題の英語は慣れ？項目などの傾向を踏まえておくと答えが予測されてしまう可能性。