|
|
|
| 2020年度 英語教育学Ⅶ |
Ch11 Testing reading
Y.K & T.H
Specifying
what the candidate should be able to do
Operation
■リーディングテストはスピーキングテストと比較すると、簡単に思われる。しかし、リーディングテストで使用する問題によっては、スキルをうまく測定できないかもしれない。
→スピーキングやライティングは、学習者の能力を直前観察することができるが、リーディングテストでは受容知識を見るため、間接的に測定することになる。
■そのため、受験者にリーディングスキルを発揮させるだけでなく、それらのスキルをうまく使っていることを示すことのできるタスクを設定することが、言語テスト作成者にとっての課題である。しかし、これには問題が２つある。
・読解スキルに含まれるスキルについては不確実性がある。多くの仮説が立てられているが、明確に証明しているものはない。
・読解スキルの中に特定のスキルがあったとしても、ある項目がそのスキルを測定することができているか判断するのは困難である。
■明確な結果は出ていないものの、私たちは、読む目的や扱う文章の種類によって、全く異なる読み方をしているため、読解において特定のスキルが存在することは明らかである。
EX）哲学に関する文章の時には、ゆっくりと注意深く読む。
しかし、特定の情報を探すために、文章を素早く見ていくこともある。
■従って、研究によって特定のスキルが明らかになっていないという理由で、明らかになっていない特定のスキルをテスト細目から除外する必要はない。テストの目的によって、特定のスキルを測定するための項目を含めることが有効的かどうか判断する必要がある。
■テスト細目の枠組みと一貫性を持たせるために、ここでは読者が文章を読むときに実行するスキルをoperationと示す。
■以下に役立つであろうチェックリストを示す。なお、目的の違いから速読と精読を区別している。
▶速読のoperation
・調査
著者や見出しを見て、テキストが自分のニーズにあっているか判断することができる。
・スキミング
主要なアイデアや談話のトピックを迅速かつ効率的に得ることができる。
文章の構造を素早く理解することができる。
・サーチリーディング
あらかじめ決められたトピックに関する情報を素早く見つけることができる。
・スキャニング
特定の単語やフレーズ、数字、パーセンテージを素早く見つけることができる。
＊速読のテストの際には、受験者は内容をすべて読む時間がなくても解答しなければならないことに注意する。
▶精読のoperation
・代名詞を特定する。
・談話標識を識別する。
・複雑な文を解釈する。
・トピックセンテンスを解釈する。
・テキストアウトラインの論理的構成を理解する。
・一般的な文と例を区別することができる
・明示的に述べられた主張を理解する。
・暗黙的に述べられている主張を特定する・
・書き手の意図を理解する。
・文章が誰に対して書かれたものなのかを特定する。
・文章の種類を特定する（社説、日記など）。
・事実と意見、仮説を事実、噂や伝聞と事実を区別する。
・推論を行う。
（テキストの情報のみで行う推論と、テキストからの情報とテキストの外からの知識を組み合わせて行う推論がある。）
Texts
■受験者に適したテキストは、以下に示すいくつかのパラメーターによって、特定することができる。
・Text types
教科書や記事、手紙など、さまざまな種類がある。
・Text forms
説明、論証、指示、ナレーションなどがある。
・Graphic features
表、チャート、ダイアグラム、イラスト、インフォグラフィックなどがある。
・Topics/ Style
・Length
単語の数で示される。速読か精読かによって長さは異なる。
・Readability
文章の難易度を客観的に示すものだが、必ずしも妥当性がある訳ではない。
・Range of vocabulary/ Range of grammar
■内容的妥当性や波及効果のため、上記のように詳細にテキストの選定を行う。
■オーセンティックな文章を使用するかどうかは、項目が何を測定することを意図しているかによって判断する。
Speed
■読解速度は1分あたりの文字数で表されることがあり、速読の場合は文章全てを読むことは期待されていないため、速読と精読で速度は異なる。
■想定される読解速度と、項目の数や難易度を考慮して、テストに必要な時間を決定する。
（調査によると、第二言語を流暢に読むための目標読解速度は1分間に250語が妥当であるとされているが、学習者の一般的な習熟度、テキストの性質、テストに含まれるタスクによって異なる。）
Criterial level of performance
■規範参照テストでは、受験者のパフォーマンスの比較を目的とするため、テストが作成される前、あるいはテストが実施される前に、基準となるパフォーマンスレベルを指定する必要はない。
■しかし、この本では、言語テストに対する幅広い基準参照アプローチを推奨している。例えば、筆記試験の場合、受験者が達成しなければならない筆記能力のレベルを記述することが可能である。（詳しくは9章参照）
■一方で、受容能力に対する基準レベルの設定は、困難である。40％、50％、60％といった割合で表される合格点は、そのようなスコアを直接解釈する方法がないため（基準が明確でない）、推奨できない。
→本書では、テストタスクによってレベルを定義するのが最も良い方法であると考える。
■すべてのテスト項目は、合格者の能力の範囲内である必要があるため、合格するためには、原則として100％のスコアを出すことが求められる。しかし、受験者のパフォーマンスは安定したものではないため、実際には、80％のレベルに設定するなど、合格ラインを低くする。また、異なるレベルの能力を持つ受験者を区別するために、複数のテストが必要になることもある。
■また、テストの成績は、ACTFLやILRのような尺度を使って受験者のリーディング能力を評価したものや、CEFR/ALTEのCan doステートメントで評価された受験者の能力と比較することができる。
Setting the tasks
Selecting texts
■テキストをうまく選択するには、最終的には経験と判断力、そしてある程度の常識が必要であるが、以下に有用なアドバイスを示す。
１．テスト細目を常に念頭に置き、できるだけ代表的なサンプルを選ぶようにする。（何度も同じものを選んではいけない。）
２．適切な長さのテキストを選ぶ。（速読テストでは2,000語以上の文章が必要になることもある一方、
精読テストは、わずかな数の文章でテストすることができることもある。）
３．内容的妥当性とある程度の信頼性のために、テストにはできるだけ多くの長文を含める。しかし、実用性を考慮すると、特にスキャニングやスキミングのテストでは、問題数の制約がある。
４．サーチリーディングのテストには、多くの個別情報を含む文章を探す必要がある。
５．スキャニングのテストでは、特定の要素を持つテキストを探す。
６．文章構造を素早く理解する能力のテストでは、文章の構造がはっきりと認識できるものを選択する。
７．受験者が興味を持つようなテキストを選ぶが、過度に興奮させたり、妨害したりしないようにする。
（例えば、癌に関するテキストでは受験者の一部に苦痛を感じさせる可能性がある。）
８．一般的な知識の情報で構成されたテキストは避ける。文章を読まなくても正解がわかるような項目を作成しないよう気を付ける。
９．読解力だけを問うのであれば、文化的な要素を含んだ文章は選ばない。
10. 生徒がすでに読んだことのあるテキスト（あるいはそれに近いもの）は使わない。
Writing items
■私たちが興味を持っている能力を測定し、信頼性の高いスコアリングを可能にするようなテスト項目を作成することが目標である。
■リーディングテストでは、受験者が読むことができたという証拠を提示できるようなタスクを設定する必要がある。その際に重要なのは、読解の妨げになるようなテクニックを使わないこと、読解に加えて非常に難しい課題を追加しないこと、である。例えば、テキストの言語で答えを書くことを受験者に要求する際、読むことはできても、書くことが苦手だと、測りたい能力（今回の場合は読解力）を正確に測ることができていないことになる。
■この問題に対する解決策としては、以下のようなものが考えられる。
▶Multiple choice
・受験者は、いくつかの選択肢の中から1つを選んでマークすることで、読解力があることを示す。
・選択肢は文章であっても、イラストの形であってもよい。
・True False の項目は、偶然に正解を選ぶ確率が50％であるが、「該当なし」や「判断できない」などの錯乱子があると、正しく推測できる可能性は33％に減少する。
▶Short answer
・短文解答は、正解が１つでなければならない。
・指示対象を特定する能力や未知の単語の意味を文脈から予測する能力をテストするのに適している。
EX）sheは何を指しているか？
～という意味の単語を見つけなさい。
・事実と意見の間の区別など、様々な区別をする能力をテストにも使用することができる。
・スキャニングのテストも、有効である。
EX）登場人物が蝶に興味を持っていたことはどのページでわかるか？
・テキストの構造に関連した項目の作成にも使用できる。
EX）この論文には５つのセクションがある。どのセクションで作家は以下のそれぞれについて述べているか。
a. 国民性に関連した言語の選択
b. 植民地時代の言語が現地の文化に与える影響
c. 解放のための戦いの中で人々が植民地言語を選択すること
d. 教育に現地語を使う際の現実的な困難
e. 権力と言語の関係
→推測は可能だが、確率は単純な多肢選択式の場合よりも低くなる。
また、このような順序付けが必要な項目は、受験者が部分的に誤った解答をした際、採点が困難となる場合がある。以下にこのような問題を提示する。
問題文：以下の長文には6つのパラグラフが削除されています。A～Gの段落の中から、1～6の各空欄に当てはまるものを選んでください。
・正解が1つの答えに限定されないような短答式の項目を書くことには注意が必要である。
EX）著者によると、離婚率の増加は、人々の結婚や結婚相手への期待について何を示しているのでしょうか？という質問に対して、(They/Expectations) are greater (than in the past).の解答の場合、受験者は正解に読み取れたが、ライティングの能力が不足しているためうまく表現することができてないことがわかる。
▶Gap filling
・受験者に要求する解答が非常に複雑で、記述上（そして採点上）の問題が生じる可能性がある場合には、空欄補充の使用が有効である。例えば、受験者が次の段落の主旨を理解しているかどうかを知りたい場合は、次のような項目が考えれる。
Complete the following, which is based on the
paragraph below.
‘Many universities in Europe used to insist
that their students speak and write only
.
Now many of them accept as an alternative, but not a of the two.'
・空欄補充は、主張を支持するために提示された詳細を認識する能力をテストするために使用することができる。また、特定の情報を探し出す能力（スキャニング）をテストする際にも使用できる。
・更に、空欄補充はsummary clozeと呼ばれる手法の基本でもある。これは、テスト担当者が文章を要約し、受験者がその要約を完成させるために、要約の中の空欄に適切な解答を書いていくものである。
▶Information transfer
・テキストから得た情報を、簡単な情報を記入することで表を作成したり、地図上のルートを辿ったり、絵にラベルを付けたりすること。
■ここでは、多肢選択、短文解答、空欄補充、情報転移などのテクニックを紹介してきた。
■より一般的なクローズテストやCテスト（14章参照）は、読解力だけを測定しているかどうか明らかになっていないため、省略した。
Which language for items and responses?
n リーディングテストの項目の表現は、受験者が理解に苦しむようなものではない。常に受験者の能力の範囲内であるべきであり、テキストそのものよりも負担が少ないものでなければならない。それと同じように回答は、ライティング能力への要求を最小限にしなければなりません。
n もし受験者が一つの母国語を共有している場合、その母国語を項目と回答の両方に使用することができる。しかし、受験者の中には項目によって、外国語の項目から得られるよりも、テキスト内容についてより多くの情報を得ることができる場合がある。
Procedures for writing items
n 項目を書くための出発点は、指定された操作を念頭に置いて、テキストを注意深く読むことである。そのためには、有能な読者が文章から何を導き出すべきかを自問する必要がある。必要に応じて、要点、興味深い情報、議論の段階、例などをメモしておく。
n 次の段階は、受験生がどのようなタスクをこなすことを期待するのが妥当かを決めることである。それができて初めて、草案の項目を書くことができる。項目でこれらを参照する必要がある場合は、テキストに段落番号と行番号を追加する。またモデレーションのために同僚に提示すべきである。アイテムやテキストに関して修正が必要な場合もある。
Practical advice on item writing
1.
スキャニングテストでは、答えがテキストにある順に項目を提示する。
このようにしないと、ランダムに変化するため、テストの信頼性が低くなる。
2.
文章を理解しなくても正しい答えがわかるような項目は書かない。
このような項目は、通常問題に含まれる単語の文字列とテキストに含まれる同じ文字列を単純に一致させるものである。
「古代の食べ物」p.153, 50行目
例：Who uses replicas of Roman and Greek
kitchen tools to make dishes described by ancient writers such as Columella, Pliny and Cato?
↓
Name the archaeologist who makes food
described by Pliny and others.
3.
文章を読まなくても一般的な知識で答えられるような項目は入れないようにしよう。
例：Yeast is used in the making of ( ) ←Bread
しかし、必ずしも難解なテーマを選ぶ必要はありません。
4.
各項目はそれぞれ独立したものとし、ある項目の正解が他の項目の正解に左右されないようにする。
次の例では、最初の項目に正しく答えられなかった受験者は、次の2つの部分に答えることができないだろう。（2つ目のパートはYes/Noのテクニックを使用しています）そのような受験者に場合、b)とc)は存在しないも同然である。
a) Which man is
suspected by the detective?
b) What was the man wearing?
c) Did the man attempt to escape?
しかし、文章の構造に関連する項目では、完全な独立性はほぼ不可能である。
5.
項目を改善するために、テキストに小さな変更を加える準備をする。
もし変更する場合はその道の専門家に見てもらう。
A note on scoring
n 信頼性の高いスコアリングを得るための一般的なアドバイスは、第5章で述べた。しかし、リーディングテスト（またはリスニングテスト）では、受験者が無事に試験を終えたことが明らかであれば、文法やスペル、句読点の誤りは罰せられるべきではない。リーディングテストの機能は、読解力をテストすることである。同時に生産的なスキル(文法などを考慮した場合）をテストすることは、単に読解力の測定の妥当性を低下させるだけである。
READER ACTIVITIES
1.
この章で与えられた手順とアドバイスに従って、6項目のリーディングテストを作成しよう。
各項目について、あなたがテストしていると思うスキル（サブスキルを含む）をメモする。可能であれば、同僚にテストを受けてもらい、批判的なコメントをしてもらい、テストの改善を試みる。もう一度、可能であれば、適切なグループの生徒にテストを実施する。テストを採点する。何人かの生徒にインタビューしてどのようにして正しい答えにたどり着いたのか、予測していた特定のサブスキルを使用していたかを学生にインタビューしてみよう。
Q1：精読の代名詞を特定、Q2：スキャニング（特定の単語）、Q3：スキミング（文章構造）、Q4：事実と意見、仮説を事実の区別、Q5：スキミング（主要なアイデア）、Q6：精読（トピックセンテンスを解釈）を想定して作成した。
フィードバック
・本文と単語を変えている点が良い。
・本文の文法も綺麗である必要はあるか。
・質問の英語が適切ではない、また文法間違いがあった。
・どのパラグラフかを指定していない
・IDKではなくThere are insufficient materials
to make a judgment. （材料不足）でも良いかと思う。
・意図した回答があえられるとは限らない問いがあった。
・ALTの活用も必要
2.
複雑な文に対応できるようにするための練習問題です。このような問題は、リーディングテストの一部として、どのように成功するでしょうか？正確には何をテストするのでしょうか？
何か変更したいと思いますか？変更するとしたら、その理由と方法は？多肢選択式ではないものにすることはできますか？もしそうなら、どのように？
The
refusal of the government to consider alternatives to its policy on prisons,
which was criticized by various human rights groups, both within the country
and abroad, led to its downfall.
What is the subject of “led to its downfall”?
a. the refusal
b. policy on prisons
c. human rights groups
d. the government
精読のoperationにおいて、複雑な文を解釈することと、テキストアウトラインの論理的構成を理解することを測れる可能性がある。ただthe refusal of the governmentが主語とも言っていいのではと思う。また「its」が何を指すかと言う質問に変更しても精読のサブスキルを測ることに変わりはない。
Discussion point
■According to this chapter, reading test measure receptive knowledge,
so raters indirectly measure reading skills. Then, what tests can be said to
not measure reading skills?
リーディングテストでは受容知識を見るため、間接的に測定することになるとされている。どのようなテストでリーディング能力を正確に測定できていないと感じたか。もしくは、リーディング能力を測定することができていないテストにはどのようなものがあるか。
■Short answer is suitable for testing the ability to identify an
instructional target or to predict the meaning of an unknown word from its
context. Then, what skills are multiple choice questions better suited to
measure? (Or what skills are information transfer better suited to measure?)
短文解答は、指示対象を特定する能力や未知の単語の意味を文脈から予測する能力をテストするのに適しているとされている。では、多肢選択問題はどのようなスキルを測定するのに適しているか。もしくは、情報転移問題で測定するのに適したスキルはどのようなものがあるか。