|
|
|
| 2020年度 英語教育学Ⅶ |
Chapter 8: Common Test Techniques (pp. 78-86)
R.M
■What are test
techniques?
test
techniques：言語能力を我々に教えてくれる受験者から行動を引き出す手段
必要としているのは、以下の4つの技術である。
Ø 我々が関心のある能力の信頼できて妥当な指標となる行動を誘発する技術
Ø 確実に得点化される行動を引き起こし得る技術
Ø 可能な限り時間と労力が経済的である技術
Ø 有益な波及効果が見込まれる技術で、そこではこれが関連している。
本章は、リーディングやリスニング、文法、語彙を含めた様々な能力をテストするために使用されるよくある技術を紹介する。
■Multiple choice
items (多肢選択式項目)
一般的な形式は以下のようなもの。
Ashley has been here
half an hour.
A. during B.
for C.
while D.
since
→stem (幹) があり、いくつかの選択肢がある。そのうち1つが正解（上記の問題では選択肢B）で他はdistractor (錯乱肢) である。
正しいあるいは最も適切な選択肢を特定するのが受験者のタスクである。
多肢選択式のテストの利点は以下の通りである。
Ø 採点が完璧に信頼のできるものである可能性があること。
Ø 採点がかなり早く経済的であること。
Ø 受験者は紙にマークをつけるか、コンピュータ上ではドロップダウンメニューから選択するだけで回答できるため、通常の時間内では考えられないほど多くの項目を含めることができる。
Ø 書き言葉や話し言葉の産出は不要なので、受容的技能をテストすることができること。
多くの一般人は常に多肢選択式のテストを通して達成され得るものについて疑っていたが、プロのテスト作成者によってその技術の限界点が一般的に認識されるようになったのはかなり最近のことである。
多肢選択式の限界点は以下の5点である。
l The
technique tests only recognition knowledge（再認知識しかテストしていない）
受験者の発表的技能と受容的技能との間の適合度が欠けている場合、多肢選択式のテストの成績からはかなり不正確な受験者の能力しか得られない。
例えば、文法構造を使用する能力を測るには、文法の多肢選択式のテストでは弱い可能性がある。すなわち多肢選択式のテストで正解した受験者もスピーキングやライティングで正しい形式を産出できるとは限らない。
これは構成概念妥当性の問題 (i.e., 多肢選択式のテストで検証される種類の文法知識が文法の産出的な使用の根底にあるかどうか) にも関わっている。文法知識が使用の根底にある場合には、知識と使用との間で埋めるべきギャップがある。そのため使用に関心があるならば、そのギャップはテストがせいぜい不完全な情報しか与えていないことを意味している。
l Guessing
may have a considerable but unknowable effect on test scores (推測 [当て推量] はテストの得点にかなりの効果を及ぼすが、知り得ない効果もある)
3択式の多肢選択式で当て推量によって正解する確率は約33％なので、100点のテストで33点を当て推量で得点可能だと予測できる。
問題は個々の得点のどの部分が当て推量によるものかを知ることができないこと。
この問題点に対する様々な取り組みがなされているが、どれも必ずしも正しいとは言えないし修正された受験者の得点と当て推量をせずに得た得点がほぼ同じものだと知ることもできない。
もし多肢選択式のテストを使用する必要がある場合には、(当て推量による影響を減らすために) 少なくとも4つの選択肢を設ける取り組みをすべきである。その際には、全ての錯乱肢がテストされる能力や知識を持たない受験者の多くによって選ばれるようなものにすべきである。
受験者が2つの正解を選ぶ必要のある5つの選択肢から成るテストを取り入れることで、当て推量による正解を防ぐことにつながり得る。以下のような例がある。
If I had chosen a different career, more
money.
a. I've made
b.
I'd have made
c. I'll be making
d.
I'd be making
e. I'm making
ここでは、正解となる2つの選択肢を両方
(ここではbとd) を選んだ場合に、正解と見なされる。
論理的に言うと、当て推量は正しい選択肢を1つだけ特定する必要がある場合よりも効果的でないので、この方法は正解の選択肢が1つしかない従来の方法よりも、より妥当性があると思われる。
この方法の欠点は、正解となる選択肢を2つ作成することが難しい場合によっては不可能であること。
l The
technique severely restricts what can be tested (テクニックはテストされ得ることを厳しく制限する)
基本的な問題は、多肢選択式項目は錯乱肢を必要としており錯乱肢が常に利用可能とは限らないことである。
文法テストにおいて、正しい構造に対する妥当な代替案を3・4つ考えることができない可能性がある。その結果、重要な構造であるものの運用能力をテストできない場合がある。例えば、英語での現在完了と単純過去の区別が挙げられる。
学習者のレベルによっては、ある言語的文脈の中では、錯乱肢がない可能性がある。受験者が自分で答えを出すことを要求される「応答構築型項目」は、より幅広い構造をテストすること可能である。
l It
is very difficult to write successful items (上手くいく項目の作成は非常に難しい)
多肢選択の更なる問題は、項目が可能であっても、良いものを書くのは非常に難しいということである。
経験上、教育機関内で作成された多肢選択式テストは欠陥をよく帯びている。例えば、正答が2つ以上になる・正答がない・どれが正解に関する手掛かりがある (e.g., 正解の選択肢だけ他と長さが違う)・錯乱肢が有効ではないなど。
優れた多肢選択式テストを作成するために必要な労力と専門知識は非常に大きいため、定期テストなどの到達度テストに使うことは推奨されていない。
テストの準備を成功させるために費やす時間の方が、テストの実施と採点にかかる時間を節約するよりも大きい。
l Backwash
may be harmful
(波及効果が有害である可能性がある)
多肢選択式テストの練習は、学習や教育に有害な影響を及ぼし得る危険がある。
多肢選択式項目での練習が、生徒が言語運用能力を改善するのに最善の方法であると通常は言えない。
l Cheating
may be facilitated
(カンニングが促進される可能性がある)
多肢選択式テストでの回答はとても単純であるので、言葉を介さなくても他の受験者とのコミュニケーションが容易になってしまう。そのため対抗手段として、テストのバージョンを2つ以上作成し、選択肢の提示順序を変える手法がある。
概して、多肢選択式法は、多数の受験者を対象とした比較的頻度の低いテストに最も適している。
教育機関での定期テストに多肢選択項目があってはならないというわけではない。例えば、読解力テストでは、テキストの中に明らかな錯乱肢があり、多肢選択方式に適した課題があるかもしれない。
読み手が避けるべきことは、過度にそして無差別に、潜在的に有害なである技法を使用することである。
最もよくあるわなを避けるのに役立つガイドラインがあり、教師はこれをチェックリストとして使用することができる。以下は、効果的な多肢選択式項目を作成するためのガイドラインである。
1.
各項目に対して少なくとも4つの選択肢を含める
2.
全ての選択肢をお互い似たような長さに保つ。
3.
各項目で正しい選択肢が来る場所を変える (e.g., 選択肢dは、a,
b, cよりも頻繫に正答とすべきではない)
4.
全ての錯乱肢が妥当であることを確かめる。以前に構築された反応テストで与えられた生徒の正しくない答えを用いることについて考える。
5.
錯乱肢のどれもが正解の選択肢よりは妥当でないことを確かめる。
6.
受験者をだまそうとしてはいけない。
7.
幹に大多数の語を含めて、選択肢を短くすること。
8.
テストを受けているかのように仲間に項目の確認をしてもらう。それから特定された問題に基づいて必要なところを訂正する。
■Yes/No and True/False items (Yes/No項目判定・真偽判定項目)
テスト受験者は、YesかNoあるいは真か偽かを単に選ぶだけで、2つの選択肢しかない効果的な多肢選択式項目である。
魅力は、書いて答えるまでのスピードが速いことである。
欠点は、偶然だけで正答を選ぶ確率が50％になることである。
T・F項目は受験者に選んだ理由を問うことで修正されることがあるが、これは以下の2つの理由で問題がある。1つ目は、ライティングをテストすることが意図されていない場合潜時的に難しいと思われるライティングタスクを付加してしまうこと (妥当性の問題) である。2つ目は、回答を採点するのしばしば難しいこと (信頼性と妥当性の問題) である。
この問題は、テキスト中の句や文を根拠として挙げてもらう (アンダーラインを引いたり書き写したりする) ことでわずかに改善される。しかし認められる回答を全て特定するのが難しいという問題点がよくある。
■Short-answer items (短答形式項目)
受験者が短い解答を与える必要のある項目が一般的である。特にリスニングやリーディングのテストで見られる。以下は具体例である。
i. What does it in the
last sentence refer to?
ii. How old was Harry Potter when he
started doing magic?
iii. Why was Harry unhappy?
多肢選択法に勝る点
Ø 当て推量では、テストの得点にあまり貢献しない。
Ø 錯乱肢の必要性によって、その技法が制限されない (もっとも潜在的に替わりとなる回答はあるに違いないけれども)。
Ø カンニングがより難しい。
Ø かなり注意が依然として必要だが、項目の作成がより簡単である。
多肢選択法に劣る点
Ø 回答するのにより時間がかかるため可能な項目数が減り、テストの信頼性の減少につながる可能性がある。
Ø 回答するために、受験者は言語を産出 (書いたり話したり) する必要がある。
Ø 判断が必要である場合、採点は妥当でないあるいは信頼できないものかもしれない。
Ø 採点により時間がかかる。
最初の欠点2つは、要求される回答が短い場合はあまり重要ではない可能性がある。
後半の2つは、正解が1つにしか決まらないように設定することで、テキスト内で答えを発見できるようになるため、克服可能である。上記の項目i.やii.は正答が1つに決まりテキストから探せるだろう。しかしiii.は問題がある可能性がある。
著者は、厳密な言語テストにおいて短答式問題が果たすべき役割があると考えている。
■Gap filling items (穴埋め項目)
受験者がある語で空欄を埋める必要のある項目が一般的である。
以下は、リーディングテストでの例である。
Harry
was unhappy because his parents when
he was young and he was
at school.
テキスト中に欠けている語がある場合、短答式項目の問題点 (判断が必要である場合、採点は妥当でないあるいは信頼できない) を解決することが可能になる。このように欠けている語がテキスト内で見つけられるか分かりやすい場合、リーディングやリスニングで穴埋め項目は最適に機能する。
文法や語彙のテストでも基本うまく機能する。
しかしテストされる文法的要素が離れている場合、空欄が2つ以上必要である。
また語彙や文法テストで、わずかな意味の違いが関わる項目でもうまく機能しないことがある。
穴埋め項目を使用する際、受験者にとても明確にそしてきっちりと1語しか各空所に入らないと伝えることが不可欠である。
また短縮形 (I'm, isn't, it's など) が1語としてカウントされるかどうかも伝える必要がある。
穴埋めには短答式技法の利点があるが、受験者をよりよくコントロールできるため、生産的なスキルをあまり必要としない。
採点は、採点者が完全に信頼できる（個人的な判断を使用しなくてもよい）慎重に構築された解答を用いて実施されるのであれば、高い信頼性が得られない理由はない。
最近では、穴埋め項目の作成の補助をするために、コーパスやコンピューターアルゴリズムの使用が開発されている。
使用者の提出したキーワードに基づいて項目が作成されるプログラムもあれば、テキストを受け取り、特定の単語を自動的に空所に置き換えるプログラムもある。
どの単語をギャップにするかの選択は重要であり、ノッティンガム大学が運営するプログラムでは、Academic Word Listのレベルに応じて単語を選択し、タスクの難易度を変えることができる。
これらは有用なツールだが、使用する前にアウトプットを精密に調べ修正する必要がある。
■READER
ACTIVITIES
1.
Examine
each of the following three items. If an item is problematic, what is the
problem? Can you remove the problem without changing the technique? (以下の3項目それぞれについて調査しなさい。もしある項目に問題がある場合には、何が問題か？技術を変えずにその問題を変えることは可能か？)
i.
When
she asked for an extension, they agreed let her have another month to finish the
report.
a. at b. to c.
over d. of
Key: b
➔これは、to+動詞の原形という不定詞の知識があれば正解がbというように解けてしまうので、問題があると言える。つまり妥当性の問題が考えられる。もしagree to doという知識を問いたいのであれば、letの部分まで選択肢に加えて、at letting, to let, over letting, of lettingのような選択肢にした方がよりよいと思われる。さらにこれだと正解の選択肢to letが目立つため、to lettingの選択肢を加えるもしくはto let以外の選択肢と交換するとさらに錯乱肢として適切になると考えられる。
ii.
A:
Why are you doing the work yourself?
B: When I asked Bill, he
said he do it.
Key; couldn't
➔ 答えが1つに決まらない可能性がある。他にもwouldn’t (するつもりがなかった) とも考えられることが可能である。そのため … he said he couldn’t do it
because he was sick.のような文脈を加えることで、よりcouldn’tに正答が絞られると考えられる。
iii.
A;
It's too easy for young people to make money these days.
B: 1 agree more.
Key: couldn't
➔ おそらくI couldn’t agree more (全く同感です) という定型表現の知識を問いたいと考えられるので、上記の2つよりは問題はないと考えられる。しかしcouldn’tの部分を穴埋めにすることで、その知識を本当に測定できているかは疑問である。
2.
Rewrite
each of the above items using another technique. What do you learn from doing
this? (別のテクニックを用いて、上記の項目それぞれを書き直してください。これをすることから何を学んだか？)
i.
When
she asked for an extension, they agreed let her have another month to finish the
report.
Key: to
→穴埋め項目を採用して、空欄を埋めてもらう。それにより
ii.
A:
Why are you doing the work yourself?
B: When I asked Bill, he
said he do it.
a. could b. couldn’t c. might d. mightn’t
→多肢選択式にして、より正解となる選択肢を限定した。
iii.
A;
It's too easy for young people to make money these days.
B: 1 agree more.
a. would b. could c.
wouldn’t d. couldn’t
→多肢選択式にしようとしたのですが、couldしか妥当な錯乱肢が思いつきませんでした。wouldやwouldn’tなどの錯乱肢を考えたのですが、wouldn’tについて完全に不正解と言えるのかが疑問です。
3.
Look
at ten items in any test to which you have access. If any of them are problematic,
can you improve them using the same technique as in the original item? See how
many of the ten items can be satisfactorily rewritten using a different
technique. (あなたがアクセスできる任意のテストの10項目を見てください。その中に問題のあるものがあれば、元の項目と同じテクニックを使って改善できるだろうか？10個の項目のうち、別の手法で満足のいく書き換えができるものがいくつあるか見てみましょう。)
4.
Visit
the University of Nottingham AWL gapmaker site (search terms AWL gapmoker
Nottingham') and submit a text of between 200 and 300 words. Select different
sublists to be used and notice how this affects the gap filling task. Do any of
the sublists generate a task that is suitable for your students?
5.
Try
writing a multiple choice item with two correct answers and three distractors.
Show your item to a colleague and ask them to evaluate it. How easy do you find
it to write an item like this? What was the biggest challenge in writing this
item?
6.
Find
an element for which you cannot successfully construct an item with two correct
responses and three distractors. Challenge a colleague to write one on the same
element.
■Discussion Questions
1.
Look
at I temiii in Reader Activities 1. If the item is
problematic, what is the problem? How can you resolve the problem? (Reader
Activities 1の項目 iii に問題はあるか？問題がある場合その問題点は何か？そしてどうしたらそれを改善できるか？)