|
|
|
| 2020年度 英語教育学Ⅶ |
Chapter
14
Testing
overall ability
A.U
Overall ability as a concept
■総合的な能力 (Overall Ability) という概念は、第二言語や外国語が得意な人（かなり得意な人、苦手な人）がいるという常識的な考えに直結している。ある言語が得意であるということは、あるスキルのパフォーマンスが他のスキルのパフォーマンスを予測するのに適していることが多いからである。
■誰かがある言語を流暢かつ正確に話しているのを聞けば、その言語をうまく書けるだろうと予測することができる。もちろん、予測が間違っている場合もあるものの、SpeakingとWritingは、違いがあるにもかかわらず、多くの特徴を共有しているため、予測が正確であることが多い。特に、文法や語彙の要素は明らかである。
Measuring overall ability
■総合的な能力を測定する技術の多くは、冗長性（必要最低限のものに加えて、余分や重複がある状態）を減らすという考え方に基づいている。
i.e., 会話における冗長性の軽減例
・周囲に雑音がある場合→すべての音が聞こえなくても相手の言っていることを理解できる
・雨の中で英字新聞が放置されていた場合→文字がぼやけていても意味が理解できる
■一般的に、低熟達度の話者は冗長性の減少に対処するのが難しいため、冗長性を意図的に減少させることが外国語能力を推定する手段として用いられている。学習者の総合的な能力は、縮小されたテキストをどれだけ元の形に戻すことができるかを測定することで推定されている。
Varieties of cloze procedure
Traditional cloze
■Cloze法の原型は、文章中のいくつかの単語を削除して空欄にし、テストを受ける人に元の単語を置き換えるように要求することで、冗長性を減らすものである。短い省略されていない「リードイン」の後、通常約7番目の単語が削除される。
Selected choice cloze
■この種の英文テストのスコアは、より長く、より複雑で定評のあるテストのスコアと高い相関性を示す傾向があるが、現在では、信頼性の高い有効なテストを作成するために、英文法の手順ですべてを自動化に依存することはできないという一般的な合意があるようだ。
■慎重にテキストを選択し、事前にテストを行う必要がある。N番目の単語を削除すると、ほとんどの場合、問題のある項目（例えば、欠落した単語を予測することができない）が生成されてしまうという事実は、削除する単語を最初から慎重に選択することが望ましいことを示している。
Multiple choice cloze
■Cloze パッセージは、多肢選択式にすることで、採点が容易で信頼性の高いものになる。ケンブリッジ英語検定では、Reading and Use of Englishセクションにこのような文章が含まれている。
■先に述べた、優れた多肢選択問題を書くことの難しさについての警告は、ここでも当てはまる。教師が作成するテストでは、できるだけ受験者に自分の言葉を使って回答させるとよい。
Conversational cloze
■上記のClozeテストの作成に使用した2つの文章は、どちらもかなりフォーマルな散文である。もし、総合的な能力を測定する際に、文章だけでなく口頭での能力も反映させたい（できれば予測したい）のであれば、音声言語を表すパッセージを使用することができる。
■この「会話型Cloze」のパッセージは、イギリスに来てしばらく経った海外の学生のオーラル能力（語学教師が評価したもの）を予測するのに適していることがわかった。
→私たちが興味を持っている総合的な能力に関連した種類の言語を反映したパッセージに基づいて、Clozeテストを行うべきであることを示唆している。
＜Advice on Creating Cloze Type Passages＞
1．選択されたパッセージは、テストを受ける人々に適した難易度のものでなければならない。もし、難易度に疑問がある場合は、様々なパッセージを選んで試してみるべきである。
2. テキストは、テストされる言語能力の種類に適したスタイルであること。
3. 2, 3文の途切れない文章の後、約8,
10語ごとに削除を行う（いわゆる疑似乱数法による削除）。個々の削除は、問題を回避したり、興味深い「項目」を作成するために、左右に1～2語移動させたりすることができる。また、拡張された文脈を参照しなければ埋められないようなギャップを意図的に作ることもできる。
4. このパッセージを、比較可能な多数の専門家のスピーカーで試し、許容できる回答の範囲を決定する。
5. 明確な指示を出す。特に、何を単語とみなすかを明確にする。生徒には、元の単語をすべて正確に置き換えることは不可能であることを確信させるべきである。また、何が伝えられているかを把握するために、まず文章を最後まで読むことを奨励すべきである（文章の初期段階での正しい反応は、後の内容によって決まることがある）。
6.採点しやすいレイアウトになるように工夫する（Ecologyの文を参考にするとよい）。
7. 暗記テストを受ける人は、このテクニックに慣れるために何度か練習の機会を持つべきである。より多くの練習をすればするほど、彼らのスコアがその言語の本当の能力を表している可能性が高くなる。
8. Clozeテストのスコアは直接解釈できない。そのためClozeテストのスコアを解釈するためには，スコアを検証するための他の尺度が必要である。
The C-Test
■C-Testは実際にはClozeの一種であり、その発案者は上述のClozeの種類よりも優れていると主張している。単語全体ではなく、2つ目の単語の後半部分が削除される。次の例は、バルセロナ自治大学（UAB）のウェブサイトからオンラインで受けられるテストの一つである。
＜C-Testのメリット＞
①正確な採点のみが必要であること（専門家のスピーカーは事実上100%の採点をしている）
②短い（つまりより多くの）文章で採点が可能であること（より幅広いトピック、スタイル、能力のレベルが可能である）
③単語未満の要素を削除することで、代表的な品詞のみが影響を受ける。
④Clozeと比較して、100項目のC-Testは、スペースを取らず、時間もそれほどかからない（受験者は多くのテキストを読む必要がない）。
＜C-Testのデメリット＞
■タスクのパズル的な性質が挙げられる。Cloze passageよりも読むのが難しく、正解は周囲の文章の中にあることが多い。そのため、適切なパズル解決方略を採用した受験者は、同程度の外国語能力を持つ受験者よりも有利になる可能性がある。（逆に、C-Testは外国語の総合的な能力を大まかに測るのに適しているというようなメリットとして捉えることもできる。）
Dictation
■1960年代には、少なくとも一部の地域では、ディクテーションテストを絶望的に誤った方法であると批判するのが普通であった。語順や語彙、リスニング能力をテストするためのものとは言い切れない。また、句読点の有無や綴りをテストするにはもっと経済的な方法があるのではないだろうかと考えられていた。
■一方で、ディクテーションテストのスコアと、Clozeのようにより文章が長く複雑なテストのスコアとの間に高い相関関係があるという研究結果が発表され、この正統派の考え方に疑問が投げかけられた。書き取りテストの成績を調べてみると、単語や語順は実際には与えられていないことが明らかになった。文脈から単語を識別する能力は、現在では非常に望ましい能力とみなされており、異なるレベルの学習者を区別する能力となっている。
■ディクテーションは、Pearson Test of English（PTE）のリスニングセクションの一部を構成しており、関連性のない文章が一度だけ読み上げられ、受験者は聞いたことを書かなければならない。
■ディクテーションテストは、Cloze Testと同様の結果が得られる。総合的な能力を予測する上では、リスニング能力を含むという利点がある。
■テストの作成は簡単であるが、採点は決して簡単ではない。ディクテーションの初期の提案者は、受験者のスコアを元の順序で現れた単語の数を基にすることを推奨していた（スペルミスのある単語でも、音韻規則を破っていなければ正しいとみなしていた）。この方法は、パフォーマンスが適度に正確な場合には非常に有効であるが、それでも時間がかかってしまう。
■この採点の問題のために、部分的なディクテーション（172-173ページ参照）が代替手段として考えられる。この場合、ディクテーションされた内容の一部は、すでに受験者の答案用紙に印刷されており、受験者は、その部分を埋めるだけであった。これにより、受験者がどこまでできているのかが明確になり、採点の信頼性が高まると考えられる。
＜ディクテーション問題の作り方＞
①
文章を選択する。
②
文章を休憩なしで話すことができる長さに分割する。
⇒これらの文章は、受験者が聞いたことを復元 (decoding)し、記憶し、再び符号化 (encoding) しなければならないように、暗記できる範囲を超えたかなり長いものにする必要がある（これは上述の研究で使用されたディクテーションの特徴である）。
③
文章全体をそのまま読む。
④
受験者が聞いたことを書き留めるのに十分な時間をかけて、ゆっくりとしたスピードで、次々とストレッチを読み上げていく。
Elicited imitation
■模倣は通常、1対1で行われる。受験者は、長さと複雑さを増していく一連の口語文を繰り返す必要がある。
■採点方法は様々であるが、最もわかりやすいのは、完全に正確な模倣を1、それ以外を0とする二分法である。
■総合的な能力の測定として、この技術の魅力は、受験者が言語インプットを処理するだけでなく、話すこと（アウトプット）にも関与しているということである。しかし、コンピュータ適応型テストプログラムなどを使って、すべてコンピュータ上でテストを行わない限り、非常に不経済である。
Using measures of overall ability
Screening
■Screeningでは、実施と採点に時間のかかるテストでは合格できない可能性のある候補者を排除する。Screening Testに合格した候補者だけが、より長いテストを受ける。スクリーニングテストの基礎となるのは、これまでに挙げた総合的な能力の測定方法である。
■プレースメントテストは、必ずしも各受験者の詳細な情報を提供する必要はない。語学学校では、総合的な能力を測るテスト（できれば簡単なインタビューで補う）で、生徒を適切なクラスに振り分けるのに十分である。コースに受け入れられた学生の能力に幅がある場合には、異なるレベルのテストを作成し、簡単なものから順に受験してもらうことができる。採点は最も低いレベルから始め、生徒が対応できないレベルに達したことが明らかになった時点で止めることができる。
Component of larger test
■これまでに紹介した手法が、より大規模なテストに組み込まれることは珍しくはない。その理由は必ずしも明確ではないものの、3つのメリットがあると考えている。
①
信頼性
→適切に使用された技術はもともと信頼性の高いものなので、それを含めることでテスト全体の信頼性が高まる傾向にある。
②
妥当性
→受験者が自分の能力を別の方法で証明することで、方法の偏りの影響が軽減される可能性があり、評価において複数の手段が求められていることと一致している。
③
検証
→項目のスコアと他のテストにおける構成要素のスコアとの相関関係から、他の構成要素やテスト全体の機能についての洞察が得られる可能性がある。
Reader Activities
1. この章にある3つのClozeパッセージを完成させ、それぞれの項目が何をテストしていると思うか検討する。それぞれの正解にたどり着くためには、どのくらいの文脈が必要か考える。
満足のいく回答が得られない項目がある場合、その理由を説明する。また、受け入れ可能な回答がいくつもありそうな項目を特定し、許容範囲にある回答とその理由を説明する。
What is a college？
Confusion exists concerning the real
purposes, aims, and goals of a college. What are these? What should a college
be?
Some believe that the chief function 1. of
even a liberal arts college is 2. a vocational one. I feel that the 3. vocational
function of a college, while important, 4. is nonetheless secondary.
Others profess that the 5. chief purpose of a college is to 6. produce
paragons of moral, mental, and spiritual 7. stamina Bernard McFaddens
with halos. If they 8. mean that the college should include students 9. with
the highest moral, ethical, and religious 10. standards by precept and
example, I 11. am willing to accept the thesis. I 12. believe in
attention to both social amenities 13. and regulations, but I prefer to
see 14. our colleges get down to more basic 15. moral and ethical
considerations instead of standing in loco parentis 16. for four years when
17. the student is attempting in his youthful 18. and awkward
ways, to grow up. It 19. has been said that it was not 20. our
duty to prolong adolescences. We are 21. singularly adept at it.
There are those 22. who maintain
that the chief purpose of 23. a college is to develop “responsible
citizens”.
24. This is good if responsible
citizenship is 25. a by-product of all the factors which 26. go
to make up a college education 27. and life itself. The difficulty
arises from 28. a confusion about the meaning of responsible 29. citizenship.
I know of one college education which 30. aims manly to produce, in a
kind 31. of academic assembly line, outstanding exponents of 32. our
system of free enterprise. Likewise, I 33. hesitate to praise the kind of
education 34. which extols one kind of economic system 35. to the
exclusion of the good portions 36. of other kinds of economic systems.
It 37. seems to me, therefore, that a college 38. should
represent a combination of all 39. the above aims, and should be
something 40. else besides – first and foremost – and educational 41. experience,
the center of which is the 42. intellectual exchange between teachers
and students.
I 43. have read entirely too many
statements such 44. as this one on admissions application papers: “45. I
want a college education because I 46. feel that this will help to
support 47. me and my family.” I suspect that 48. a job as a
bricklayer would help this 49. student to support himself and his family
50. much better than a college education.
Ecology
Water, soil and the earth’s green mantle of
plants make up the world that supports the animal life of the earth. Although
modern man seldom remembers the fact, he could not exist without the plants
that harness the sun’s energy and manufacture the basic food-stuffs he depends (1)
on for life. Our attitude (2) to plants is a singularly narrow
(3) one. If we see any immediate utility in (4) a plant we
foster it.
(5) If for any reason we find its presence
undesirable, (6) or merely a matter of indifference, we may condemn (7) it
to destruction. Besides the various plants (8) which/that are poisonous
to man or to (9) his livestock, or crowd out food plants, many are marked
(10) for destruction merely because, according to our narrow view, they
happen to (11) be in the wrong place at the (12) wrong time. Many
others are destroyed merely (13) because they happen to be associates of
the unwanted plants.
The earth’s vegetation is (14) part
of a web of life in which there are intimate and essential relations between
plants and between plants and (15) other plants, between plants and animals.
Sometimes we have no (16) choice/option but to disturb (17) these
relationships, but we should (18) do so thoughtfully, with full
awareness that (19) what we do may (20) have consequences remotes
in time and place.
Planetary Artistry
By Johanna Kieniewicz
For me, the highlight of this past week’s
science news was the images (1) it back from the Curiosity rover, providing
(2) it geologic evidence that water flowed on Mars. Of course, this wasn’t
exactly a surprise; for decades, planetary scientists have been made by
anything else. The evidence has been (3) it as well, as various clay
minerals and iron oxides have identified through hyperspectral imagery.
Nonetheless, I suspect that the image of
definitely water-lain (4) it made the heart of more than one geologist
(5) it a beat. Ground truth. You could argue that the scientific
exploration of the extra-terrestrial is, at least (6) it part, a search for
meaning: to position us what we see in the night sky comes not just through
science, but also through art. So it should come as no surprise that scientific
images of planetary surfaces have (7) it inspiration to a range of
artists from Galileo – whose first sketches of the moon through a telescope are
(8) it beautiful – to Barbara Hepworth – worth interpretations of the lunar
surface are far less literal.
＜3つのパッセージが測定したいもの＞
■文法事項
■品詞
■文脈から正しい語彙を書きとれるか→主にこの項目については、他にも正しいとされる回答があると予想される。
2. あなたがよく知っている生徒のグループに対して、適切なレベル、適切なトピックのパッセージを選ぶ。その文章を使って、以下の方法（テキスト参照）でテストを作成する（テストが行える環境になかったため、実施はできなかった）。
■テキストはCROWN English Communication 1 「Lesson 2 Going into Space」より抜粋
■高校1年生を対象としたテストを作成した。
Every
time I go into space, I discover my love for the earth. I have been in space on
the International Space Station (ISS) three times. It goes around the earth 400
kilometers above us. It takes 90 minutes to fly (around) the earth. For 45 minutes
you (see) the day view, and then in the (night) view. It is very dark (at)
night. The stars are shining, and the Milky Way (stretches) on and on. Our blue
planet (Earth) looks like an oasis in the (vastness) of the space.
You
can see (images) of the earth from space (on) TV and computers. But those
images (are) very different from the real (view) of the earth from space. You
can (clearly) see the oceans, the clouds, the mountains, and the rivers. You
can even (identify) Japan by its shape. I feel so (lucky) to have a beautiful
home planet.
＜テスト作成に当たって留意した点＞
・文章のテーマが特定できるように、最初の2～3文に空白は作らないように留意した。
・文脈から特定しやすい前置詞や、多様な単語が入ることが考えられるような動詞を空白に設定した。
・7文字間隔で基本的には空白にしているが、背景知識がないと解けないような単語の場合は、上記の特徴を持った語の箇所を空白とした。
Discussion Point
1．Regarding the
Selected choice cloze, it was said that there is a problem if any Nth word is
deleted. Specifically, what words would make it difficult to predict the answer
if they are missing?
（Selected choice clozeについて、任意のN番目の単語を削除してしまうと問題があるとされていた。具体的にどのような単語が欠落してしまうと、回答の予測が困難になってしまうのか。）
2．What skills in
English is Dictation an appropriate question to measure? If there is more than
one skills, or if you feel it is significant to measure a sub-item of the four
skills, please discuss specific examples.
（Dictationは英語のどのような能力を測定するのに適した問題なのか。複数ある場合や、4技能の下位項目を測定する意義があると感じる場合は、具体例を話し合ってください。）