Home　　自己紹介　　研究会　　TEASY　　学生向け　　Moodle　　リンク　　ゼミ
人文社会科学研究科　博士課程コース
異文化言語教育評価論 (Testing in Second Language Education)

2010.04.28（１）

Fulcher, G. (1999). The testing of L2 speaking In C, Clapham, & P., Corson (Eds.), Encyclopedia of language and education: Volume 7: Language testing and assessment (pp.75-85). Dordrecht: Kluwer Academic Publisher.
(発表者：N.I.)

・スピーキングテストの詳細にわたる研究がされてきたのは最近20年間である。テストそのものに関する研究が始まったのは大戦後であり、それ以前は評価の１つの方法として口頭試問（viva）が使われていたのみである。

・テスト研究には妥当性、信頼性、実用性が欠かせないが、これらを探求することは、スピーチの性質そのものによってさらに難しくなっている。特にスピーキングテストにおいては、他の言語テストと比較して、測定誤差の原因、一般化可能性、得点の解釈などが重要である。

THE IMPETUS TO TEST SPEAKING: MILITARY ORIGINS
・L2スピーキングテストに対する関心は、第二次世界大戦中にアメリカの軍人や外交官が言語技能に欠けていたことを発端として起こった。ここではテストの役割は、受験者が実際に将来コミュニケーションを遂行できるかどうかを見極めるためのものであった。
・Kauflers (1944)は、Language for Special Purposes (特別な目的のため の言語：LSP)のための測定尺度の使用を推奨し、これが14年後に設立されたForeign Service Institute (FSI)の礎となった。FSIでは初めて測定尺度が開発され、１（言語的能力なし）〜６（母語話者）の基準が作られた（論理的根拠はなし）。このように「母語話者」を基準とした尺度に関しては、現在でも議論が続いている。

FROM THE MILITARY TO THE CIVILIAN ARENA
・近代最初のスピーキングテストは1956年に行われ、研究によって、年齢や社会的地位が結果に影響を及ぼしていることが明らかになった。? 潜在的要因（バイアス）の発見
・初期の研究は全体的VS分析的評価、帯やその説明、バイアス、言語的基準とコミュニカティヴな評価規準の違い、そして信頼性への関心からなっており、これらは今も研究の課題となっている。
・最初の分析的評価（FSI, 1958）：複数の評価基準（アクセント、理解、流暢性、文法と語彙）? あくまでも、評価者がこれらの側面に注意して包括的評価を行っているかどうかを確認するために行われたが、それまでの評価にはこのような説明が一切なかったため画期的であった。
・この分析的評価は、間接的評価ではあったものの、受験者の能力を非常に正確に測定できていたためにCIAなど各機関で使用された。CIAでは初めて複数の評価者の評価を平均化することで信頼性を高めるということが行われた。各機関での研究は1968年に、現在のInteragency Language Roundtable (ILR)に一元化された。
CURRENT CONCERNS
・以上のように、スピーキングテストの研究は主に米国において進められてきた。FSIは現在使われている様々なスピーキングテストの大本と言える。

Rating Scales
・評価尺度においても最初に注目されたのは信頼性? 妥当性、評価尺度の段階の意味
・初期のものについては、その経験的基盤はほとんどないとされた。
・Fulcher (1993; 1996b): 談話分析を用いて経験的基盤への知見を探った
・Upshur and Turner (1995): EBB尺度の開発
・評価を行う際にはその文脈が関わっており、どんな文脈においても一般的に使用できるような評価尺度を探す方法は今のところない。

Tasks in testing speaking
・タスクの種類は、スピーキングテストの得点に計画的な効果を生み出すことが出来るとされる。複数のタスクの使用や、異なるテストでの異なる評価尺度の使用などが主張され、様々な研究が行われている。また、タスクが得点に与える役割も研究されている。
・特定のコミュニケーション場面ごとにそれぞれ異なる評価尺度が割り当てられた方が良いと考えられる。もしくは、あるテストから他のテスト／タスクへと尺度の一般化が必要となる。
⇒尺度にタスク特有の言語運用に関する記述がなければ、一般化は可能（Fulcher, 1996a）
・他にも、タスクと受験者特性との関連を探る研究などがあり、さらなる研究が望まれる。

Models of communicative language ability
・Bachman and Palmer (1983)はFSIの構造的妥当性を検証し、口頭インタビューではテストそのものによる効果が最小となり、受験者の特性が最大となるとした。（翻訳・自己評価との比較）
・Bachman (1990)によってコミュニケーション能力のモデルが改変されたことで、タスクの影響（?前項）、言語テストの比較可能性、受験者特性などについて様々な研究が行われてきている。

Test discourse and simulated tests of speaking
・「テスト場面」と「自然な場面」の違いに関しては多く研究がなされてきたが、これは特に模擬的に会話能力判定法（SOPI：答えをテープに録音して後から採点する形式。OPIは面接形式）を行う場合、テスト形式の影響が大きく問題となる。SOPIとOPIの間には有意な正の相関が見られるものの、SOPIと比較して、OPIには会話的な要素が多く含まれると言われる（Shohamy, 1994）。
・しかし、すべてのテストは間接的な測定であるので、このことに特に問題はないとFulcherは主張している。?それよりも、SOPIがどのように使われているのかを明らかにするのが重要。

GORDIAN KNOTS
・スピーキングテストの研究ではまず多くの実験協力者を集める必要があり、そしてさらにそのデータを書き起こし、分析するのに多大な労力がかかる。研究者と試験運用者との協力がほとんどなく、財政的支援もないことが研究の障害となっている。
・また、一般化可能性の問題も大きい。コミュニケーションはそもそも場面に依存しているという点で「コミュニケーション能力」の概念に疑問が生じる。したがって、Kaufler (1944)が述べたように、スピーキングテストは将来の実際的スピーキング能力を予測できる、ということは不可能となる。?場面や能力の重要性について更なる研究が必要。
・現在最も求められるのは、コミュニケーション能力のモデルである。スピーキングは数々のサブ・スキルから成っているとされるが、多くの研究は理論的説明に留まり、十分な説明・証明はされていない。

FUTURE DIRECTIONS
・今後期待される研究分野…評価方法の研究には、その元となる「何をもってスピーキング能力とするか」という問題を探る必要がある。
・スピーキングについては、応用言語学、談話分析、発話行為理論、社会言語学、第二言語習得、コミュニカティヴな言語能力などの各視点からスピーキングテストを検証することが必要となる。またその研究の延長として、テストの手順、評価規準や方法などが妥当性を検証する際に関わってくる。
・また、テスト内容を実際の運用へと一般化することを求めるテストもあれば、場面に即していて一般化を求めないものもある。いずれにせよ、場面に即した評価尺度がそうでないものよりも優れているかどうかは、検証されなければならない。
・以上の問題について調査を行うことで、スピーキングテストの構造的妥当性への証拠（または反証）を明らかにし、その過程において「話せるとはどういうことか」「コミュニカティヴな言語能力の内の、どの要素がどれだけスピーキング能力に貢献するのか」というようなことが問われることになる。

参考文献
Malone, M. (2000). Simulated oral proficiency interviews: Recent developments. Retrieved from http://www.cal.org/resources/digest/digest_pdfs/0014-malone-simu lated.pdf

＜コメント＞
・初期の研究は全て面接形式（OPI）であったと考えられる。研究が進むにつれ、テープなどを用いたSOPIなどの形式が使われるようになったようである。
・評価尺度については、CEFRなど海外で用いられているものをそのまま持ち込むことはできない。学習者のレベルや環境が異なるため、新たに尺度を作る必要がある。

※補足：FSI（http://www.state.gov/m/fsi/）：合衆国政府に属する機関で、言語に留まらず、外交関連の分野を幅広く扱っている。




2010.04.28（２）

 Gary, B. (1999). The testing of listening in a second language. In C. Caroline & C. David (Eds.), Encyclopedia of Language and Education, Vol. 7:Language Testing and Assessment (pp. 65-74). Dordrecht: Kluwer Academic Publishers.
（発表者：S.T.）

[Introduction]
■ L2リスニング研究においては、聞き手の理解に関する明示的な理論もなければ、聞き手の理解を他の側面 (主に読解研究や言語学など) と分離させるという慣習もなかった
■ しかし現在では、聞き手の理解は言語学的・非言語学的な知識、または本質的に不確定なacoustic signal (音響信号) に関する様々な知識の相互作用を通じた意味表象の構築とされている
■ 徐々にではあるが、L2リスニング能力も他の技能と同様に、部分的、総合的及びコミュニカティブな枠組みによる測定がされるようになってきたが、依然として各枠組みの要因が混在した測定も行われている
■ 実際のリスニングの状況は聞き手と話し手の相互作用の量に左右され、全く双方向的でない場合〜完全に双方向的な場合があるが、L2リスニングでは一方的な場合のみを扱っている
■ また、社会的な関係を維持するinteractional languageではなく情報を伝達するtransactional languageにのみが強調されている

[Problems and difficulties]
■ L2リスニングテストの作成者は話し言葉に関する以下の3つの特徴を認識する必要がある
�� リスニングプロセスのインプットはほとんどが不確定な音響信号であって、言語の音韻体系や音韻的修正に関する知識が必要とされる
�� 話し言葉は書き言葉と比べて言語学的に大きく異なる (e.g., 文法性、長さ、つなぎ言葉)。
�� 話し言葉はリアルタイムで行われてすぐに消失するため、聞き手には処理の自動化が求められる
■ L2リスニング理解に関連する問題として以下の2点がある
�� 理解を観察することができない
→ リスニングの測定は間接的なプロセスであり、タスクの性質 (e.g., summary) に左右される
�� 目的、興味、背景知識、解釈及びリスニングが行われる状況は、聞き手によって大きく異なる
→ 多種多様な理解が生じる可能性があるのにも関わらず、テストでは1つの正答しか存在しない

[Early development]
■ 初めて、明確な理論に基づいてL2リスリングの理解を測定したテストは、構造主義及びオーディオリンガルメソッドによる部分的評価を行ったものである。この枠組みでは、言語は個々のbitによって構成されるものであるとした
■ リスニングの理解を調べる基本的な測定法は、対象の言語で行われた短い発話の中心部を聞き取れたか判断する方法である。対象となる発話は文節音素やストレスパターンなどを含むことが多い
■ しかし、この方法では文脈の重要性は軽視され発話の一部のみが強調されてしまうという難点もある
■ 極端に言えば、これらの測定法ではリスニングのプロセスは出力された音響信号を語として解読することであり、意味論的なレベルにおける語や句のレベルの理解にはほとんど注意が向けられていない

[Major Contributions]
■ 1970年代初頭、Oller (1979) の”pragmatic expectancy grammar” に基づいたintegrative testと呼ばれる測定法が議論されるようになった。構造主義による測定法は発話の一部分の理解しか捉えられなかったが、発話の部分同士の関係性の理解がリスニングに必要であると考えられるようになったためである
■ integrative testの枠組みでは、言語の処理は”expectancy generating system” から構成されるとし、先を予測する能力が一般的な言語能力の指標とであると定義される
■ integrative testの代表的なものとしてclozeテストとディクテーションがあり、前者は読解及び一般的な言語力の測定に用いられたのに対し、リスニングテストでは後者のディクテーションが用いられた
■ ディクテーションが用いられた原理としては、より理解ができる聞き手ほど上手く処理することができるというものである
■ ディクテーションは比較的作成しやすく、また信頼性の高い測定法であることから、言語資源の足りない教師などの間で特に人気があった
■ これらのテストと関連したリスニング理解に関する理論的な概念は、部分的評価のテストと関連したリスニング理解に関する理論的概念よりも広い (言語に関する個々の部分的知識ではなく、言語処理が強調されている)
■ そのためintegrative testの枠組みでは、リスニングの理解は推論に基づいた仮説の生成と検証を通じて語の意味を解釈することと定義される
■ integrativeの測定法の背景にある言語的処理に関する心理言語学的な理論は議論されておらず、integrative testは言語能力の極狭い範囲の能力を測定しているに過ぎない可能性がある (e.g., 文字通りの意味の解釈に留まり、語用論的な解釈が必要とされていない)

[Work in progress]
■ Ollerがintegrative testを議論していたのとほぼ同時期に、Caroll (1972) は1) テキスト中の言語学的情報をつかみ、2) 広いコミュニカティブな文脈と関連付けられる かどうかによってリスニングの理解が適切に行われるとした
■ このcommunicativeな測定法は、聞き手に文字上の意味だけでなく文字に含まれている意味の解釈を求める点でintegrativeな測定法よりも広い概念である (言語はコミュニケーションの手段であり、この点で言語が役割を果たしているかに焦点が当てられている)
■ L2学習の焦点がコミュニカティブ能力の概念に当てられるようになったため、テストの開発者は、”communicative” test と判断されるテストを作成させられることになった
■ コミュニカティブ能力の理論によっても、communicative testを作成するための基準やcommunicative test の妥当性を判定する基準は示されない。そのため、テスト開発者は何がcommunicative testであるかを自分で決めなければならず、authenticity (真正性) の概念に依存することになった
■ 真正性に関しても幅広い議論がなされているが、測定法のデザインが真正性の概念に依拠することはかなりの問題が生じる (真正性は質の良いテストに必要とは限らず、部分的にしか達成されない)
■ 対象とする言語活動の特定とテストにおける再現が常にできるとは限らず、リスニングでは特に難しいと考えられる (リスニング理解の重要な過程は聞き手の頭の中で起こるため)
■ コミュニカティブなリスニングテストに必要な一般的な基準はないものの、暗黙の了解として理解されている点が以下の3点である
�� テキストが現実で使用される言語に近いこと (自然な実際の発話を使用すること)
�� タスクが現実で生じる言語活動に近いこと (日常的に起こりうる状況をタスクとして定めること)
�� タスクは聞き手の言語活動を働きかけるものであること (聞き手に聞く目的を与えること)
■ その一方で、コミュニカティブなリスニングテストの作成に関わる大きな問題が2つある。
�� リスニングテストは数種類のタスクしか含められない (一部のリスニングタスクから全体のリスニング能力を測定せざるを得ない)
�� 発話の解釈に関して正しい解釈が1つに定まらない (発話の解釈には語用論的な推論や暗示的な意味も含まれるため、常に絶対的に正しい解釈があるわけではない)

[Some practical advice]
■ リスニングテストを作る際に万能な方法はない (e.g., 読解活動を含む方が適切な状況もある)
■ テストの目的と受験者の能力に応じたテストを作成すべきではあるが、妥協しなくてはならない点が少なからず生じてしまうことを頭においておくべきである
■ ただし、リスニングテストの作成に関して適切な助言がないわけではない
■ リスニング能力の基盤的な能力として言語的情報を理解することがあるため、タスクは素早く自動化されたオンライン処理を求めるものでなくてはならない
■ また、作成が容易であるために非双方向的なリスニングタスクが用いられているが、このタスクはあらゆる状況におけるリスニングの理解に必要なL2能力の核となる要素が含まれている

[Future directions]
■ リスニングテストは現代の新しい技術によって影響を受ける (日常の言語活動におけるmultimedia)
■ リスニングテストは日常の言語活動に基づく必要があるため、日常的な言語活動に類似した状況をタスクとして含めていかなくてはならない (e.g., 発話と共に視覚情報の提示)
■ 今後のリスニングテストを改善していくためには以下の2点について検証が望まれる
�� 聞き手のどのような知識、技能そして能力がリスニング処理の過程に含まれるのか、そしてこれらはそれぞれのタスクにおいてどのように関連しあっているのかが明確にされるべきである
�� リスニングの達成度合いを明確に規定するための基準が定義されるべきである

<コメント>
　現在まで提案されてきた、信頼性・妥当性の高いリスニングテストの様々な枠組みについて解説されている。しかし、本レジュメの後半にも記述されているように、リスニングテストを構成する要素は複雑である。そのため、完璧なテストは存在せず、それぞれの目的に適ったテストを採用する必要がある。
リスニングとリーディングはinputという点で共通しているため、リスニングテストにおいてもリーディングテストと同様の枠組みが適用できるのではないかと考えていたが、コミュニケーションの基礎となるという点でリスニングとリーディングは大きく異なる。日常生活において、リスニングを行う状況とリーディングを行う状況はほとんど一致しない。前者は、基本的に話し手がいることが多いのに対して、後者は書き手がいることは少ない。日常生活における言語活動を反映したテストについて、更なる研究が望まれる。

<追加調査>
・Communicative Listening のタスクにはどのようなものがあるか

→ Tiono (2001) によるとinformation gapを利用したタスクが該当する。

タスク例：
学習者のペアに対して異なった形の物を与え、それぞれが与えられた物に関する説明をカセットテープに吹き込む。その後、カセットテープのみを交換してリスニングし、もう1人のペアが何の物ついて説明したのかを予想する。その後、それぞれの予想が正しかったかどうかを確認し合う。

上記の例のように、Communicative Listeningは一方向的なリスニングに留まらず、リスニングのプロセスの前後にコミュニカティブな活動が含まれている。今回の例で言えば、リスニング前に相手を念頭において説明をする活動、リスニング後に予想を確かめるために情報交換をするという活動が含まれている。



2010.05.12（１）

 Aufderhaar, C. (2010). Learner views of using authentic audio to aid pronunciation: “You can just grab some feeling.” TESOL Quarterly, 38, 735-746.
(発表者：M.K.)


Abstract
■TESOL（Teaching English to Speakers of Other Languages）の専門家の多くが指導において、authenticな教材を使用することを勧めているが、発音指導までも考慮したauthenticな聴解テキストの使用についてはまだほとんど調査がなされていない。そこで本研究では、詩・ラジオ番組の劇・ショートストーリーを含むauthenticな聴解教材を発音指導の補助として使用し、これらがいかに学習者の発話や発音の習得を助けるかを検証した。

Metrical template theory
■Celce-Murcia, Brinton, and Goodwin (1996)はL2学習者は超分節音素 (いくつかの分節素にまたがって表れる音声的特徴であり、音の高低、ストレス、連結など)の特徴を習得する必要があると強調している。Crow (1977)によれば、その習得は無意識的に行われるが、その過程においてL2聴解者はmetrical template (強・弱の強勢が置かれた音節のパターン) と呼ばれるものを構築し、内在化している。このmetrical templateの習得が発話において重要な役割を担っている。
■超分節音素の内在化は幼児の場合、韻律の文脈においてbracketingや文法的範疇・音節区分の習得を可能にしている。一方、大人の場合には言語的・非言語的文脈においてピッチの処理がなされることが分かっている(Ioup & Tansomboon, 1987)
■大人の学習者は対象言語の超分節音素(アクセント・イントネーション・リズム)のパターンを認識する必要があるため、authenticな発話のサンプルである会話やナレーション・ニュースレポートなどを使って談話レベルで指導を行うことが大切である (Chun, 2002)。

Preliminary study
■アジア・ラテンアメリカ系の24人の大学院生がこの実験で行う発音指導プログラムに参加した。全ての学生が州が定める英語口頭試験に落第していた。このプログラムは英語のイントネーション・語のストレスに注意を向けさせ、発音スキルと全体的なコミュニケーション能力を向上させることを目的としている。
■authentic audio text はネイティブの英語話者によって作られた以下のものを使用した：(a) Poems by Silverstein(リズムと韻があるもの), (b) CBS Radio Mystery Theatre (複数のキャラクターが登場し、韻律的特徴が少し大げさなもの), (c) Chicken soup for the soulに収録された短編 (これはより長いテキストが学習者の超分節音素の認知にどのような影響を与えるかを観察するために選択)。

Method
■実験期間の指導は4つの段階に分けて行われた。
�� 協力者は週に3回、各20分間のセッションによる指導を受けた。指導では、テキスト中のストレスの置かれたシラブルに下線を引いたり、強調語に丸をつけたり、イントネーションの形
の線を描いたりする作業を通じて、超分節音素に注意を向けさせる指導を行った。
�� 続く期間で協力者はテープの音声を聞いて書き起こしを行ったり、スラッシュを入れるなどして超分節音素の分析を自分たちで行った後、実際に発音をしてみて、録音されたマテリアルの音声と比較した。また、指導のなかで触れた新しい語やフレーズ・表現などを復習するアクティビティも行われた。
�� 協力者は超分節音素の分析を経たあと、クラスでそれを発表した。その際の協力者のパフォーマンスに対し、指導者がフィードバックを与えた。
�� 10週間の残りの1/4の期間で協力者はaudiotapeを使ったインタビューの質問 (発音と流暢さの向上に対してどのジャンルが一番役に立った／役に立たなかったと思うかなど)に回答した。
　　筆者はそのインタビューのデータを記述統計とMiles and Huberman(1994)が用いたコーディングの手法 (語・フレーズ・文・パラグラフ全体のデータをチャンクごとに見るmeaningful analysis を行った)。
Results
■全ての協力者がaudio 教材が役に立ったと報告していたが、その捉え方は様々であり、14人の生徒はテープを繰り返すことが正しい発音を促したとしている一方で、11名がこれらの教材によって、ストレスやイントネーションといった超分節音素への意識が高まったと回答した。
　また、5名の学生がこれらの教材によって新しい語や表現・イディオムを知ることを助けたと回答しており、教育的な教材にこだわるだけでなくauthenticな教材を使うメリットが見出された。また、14名の学生が語とシラブルを効果的に結び付けて発音するのに役立ったと答えた。
■ジャンルごとの記述統計をみると、生徒が最も発音と流暢さの向上に役立った、また楽しかった(most helpful/ most enjoyable)と回答したのは「ラジオ番組の劇」であった。詩は11名によってmost helpfulに選ばれており、短編は8名によってmost enjoyableと評価されていた。
■ラジオ番組の劇に関して、24人中18名の生徒が異なる登場人物が異なる状況で話す場面において、より超分節音素を感じることができたと答えた。
■また、20名の学生がaudio journal (※method �△悩鄒�したもの)のタスクを通じて、イントネーションに対する注意が高まったと回答した。

Discussion / Conclusion
■協力者の反応から、authenticなテキストに触れ、その超分節音素を分析することは学習者の韻律的特徴を内在化させることに役立つことが分かった。強勢のあるシラブルの区別や省略された発話の形の特定などはnative speakerの発話を理解する上で欠かせないが、今回のデータは意識的な言語習得への働きかけが学習者のリズムの感覚や語を聞き取る能力の向上・新しい語やフレーズ・表現の習得に役立つことを示していた。
■この研究はauthentic audio 教材を指導にどう用いるべきかを調べるための第一段階にあった。実験協力者は聴解の効果だけでなく、authenticな内容によって様々な状況と登場人物を感じて聞くことができたと答えている。今後さらに、マテリアルやタスクなどの点も含めてどういった指導がリスニングと発音の向上に役立つのかを検証していく必要がある。
＜コメント＞
本研究はauthenticな教材を用いた指導がリスニングに与える効果について長期的なプログラムを通じて検証を行っている。リスニングスキルの向上には対象言語の超文節音素(アクセント・リズム・イントネーション)の習得が欠かせないとの指摘がなされている。本研究者はその観点から、ラジオ番組の劇や詩、ショートストーリーといった独特のリズム・韻律的特徴を有するマテリアルを使用しており、プログラムを通じて学習者のプロソディに対する意識が高まっていく点が興味深かった。
　またプログラム後のインタビューを通じて、学習者の情意的側面も考慮し、特にラジオ番組の劇を使った指導が「楽しく、また有効なものである」と感じながら学習を行うことに一役買っていることが明らかにされており、authentic教材を使用することのメリットとして挙げられるように思う。しかし、授業内のディスカッションでも意見が出たように、authentic教材をESL/EFL学習者に与える場合、その難易度が学習を阻害するといった指摘もあることから、今後のさらなる研究においては、その点を考慮した上での検証がなされることが望まれていると感じた。



2010.05.12（２）

 Yanagawa K., & Green, A. (2008). To show or not to show: The effects of item stems and answer options on performance on a multiple-choice listening comprehension test. System, 36, 107-122.
（発表者：K.S.）

Abstract (p. 107)
本研究の目的は，多肢選択式リスニングテストの３つのフォーマットが受験者のテスト結果に影響を与えるのかどうかを検証することである。実験の結果，選択肢だけをリスニング前に文字提示するフォーマットが，その他の２つのフォーマット（問題文と選択肢の文字提示，問題文のみの文字提示）に比べて正答が少ないことが明らかとなった。また，語彙マッチングのストラテジーとの関連性も示唆された。

1. Introduction (pp. 108-109)
■ 多肢選択式問題は，自然なリスニング状況を反映していないということでしばしば批判を受けているが，実用面から最も広く用いられているテスト形式である。
■ 多肢選択式には，録音されたテキスト，問題文，答えの選択肢という３つの要素があり，それらの提示方法の違いによって，タスクの性質が変わってくる。
■ 本研究では，問題文のみ，選択肢のみ，問題文と選択肢両方，というリスニング前の文字提示の違いによって生じる影響に焦点を当てる。
■ 日本で最も一般的な英語熟達度テストとしては，TOEICテストと英検の２つを挙げることができる。いずれのテストも，多肢選択によってリスニング力を測定する方式をとっているが，TOEICのPart 3, 4では問題文と選択肢の両方が文字として提示されているのに対して，英検では選択肢のみが文字として問題冊子に記載されているという違いがある。
■ この文字提示について，どちらのテスト開発機関とも明確な説明を行っていないが，問題文の提示に対しては，受験者がテキストの関連する部分に注意を向けるという，メタ認知ストラテジーの使用を可能にするということで，研究者たちから広く支持されている。
■ 一方，選択肢の提示に対しては，オーセンティシティーに欠ける，あるいはテキストへの注意が散漫になる，という見方があり，問題文の提示ほどの支持が得られていない。
■ 本研究では，TOEIC形式（問題文と選択肢の両方の文字提示：以下FQPと表記）と英検形式（選択肢のみ文字提示：以下AOP）のフォーマットに加え，問題文のみを文字提示するフォーマット（以下QSP）も使用し，この３つの違いがタスクの難易度につながるのかどうかを検証する（Table 1参照）。
■ また本研究の二次的なものとして，テストの難易度につながる項目の特性に関して，近年の研究成果をもとに分類を行い，テストフォーマットの要因との関連性がどの程度あるのかという点も分析する。

2. Rationale (pp. 109-110)
本研究は，リスニングが認知的，社会的プロセスである，というBackman and Palmer（1996）とWeir（2005）の考え方に基づき，多肢選択式のフォーマットの違いがそのプロセスに影響を与える点を重要視する。

2.1. Meaning building
■ 聞き手は，入力情報を統合して意味を構築するという処理を行うが（Buck, 2001），問題文をあらかじめ見ることはテキストに関連する手掛かりを与えることになり，聞き手のメタ認知処理を可能にすると考えられる。だが選択肢の場合は錯乱肢があるため，聞き手の短期記憶により大きな負担をかける可能性がある。
2.2. Test-wise strategy use
■ Cohen（1998），Nevo（1989）は，テスト受験者が多肢選択式の読解テストで，（a）同じ語句，（b）類似した音声，意味の語句，（c）同じワードファミリーの語句，（d）その他関連していると思われる語句，の面からテキストと選択肢を結び付けるストラテジーを使用する傾向があることを明らかにした。
■ 従って，リスニング前の情報量の差が受験者のテスト結果に影響を与えることが示唆される。

3. Literature review (pp. 111-113)
テストフォーマットの違いがテスト結果に影響を与える点に関して，先行研究を概観する。

3.1. Preview effects on listening comprehension test performance
■ Buck（1990, 1991），Sherman（1997）は，問題文をあらかじめ提示したグループとそうでないグループを比較したが，いずれの実験においても，予想に反してテスト結果に有意差は見られなかった。またSherman（1997）は，テキストを２回聞かせ，その間に質問文を提示するという「サンドイッチ」形式の効果を報告しているが，これらの研究は多肢選択式ではなく記述式の解答方法を採用している。
■ 多肢選択式に関しては，Berne（1995）が問題文と選択肢の両方をプレリスニング活動として提示し，その効果を調べた。この研究において，参加者は文章の内容に関連した仮説，スキーマを構築し，高いスコアを獲得したと結論付けられている。
■ Wu（1998）は，中国人英語学習者に対して，リスニングテスト直後に口頭による報告をさせた。その結果，問題文と選択肢を提示する方法は，上位レベルの学習者には効果があったと思われるが，下位レベルではむしろ難しさを与えたと考えられる。また，Freedle and Fellbaum（1987）も同様の見方を示している。

3.2. Item difficulty in listening comprehension tests
■ TOEFLのリスニングセクションとテスト項目の難易度を扱った研究として，Freedle and Fellbaum（1987），Nissan et al.（1996），Kostin（2004），Freedle and Kostin（1996, 1999）などがある。
■ Freedle and Fellbaum（1987）は，項目難易度がテキストと選択肢の間の関係に影響されることを明らかにした。即ち，テキストと不正解の選択肢で重複する語彙が増え，正解の選択肢に重複する語彙が減る場合，また不正解の選択肢中に推論を促す語彙がある場合には，項目難易度が増す可能性がある，と指摘した。
■ さらに彼らは，テスト受験者の熟達度が重要な要因であるとし，下位レベルの受験者は，質問文と選択肢の間で類似した発音の語彙があれば，その語彙を含んだ選択肢を選ばないことを見出した。
■ 従って本研究では，Freedle and Fellbaum（1987）によって明らかにされた３つの予測変数を使用する。
LOK： 正解の選択肢とテキストとの語彙の重複。同義語，関連語も含む。
LOD： 錯乱肢（不正解の選択肢）とテキストとの語彙の重複。同義語，関連語も含む。
LID： 錯乱肢中にテキスト内容の推論を促す語彙が含まれること。
■ Nissan et al.（1996）はTOEFLのリスニング問題（15回分，283項目）を調べ，次の予測変数を特定した。
IF： 受験者に推論を求める問題。明示的な情報に基づくテスト項目よりも難易度が高い。
UP： ２番目の発話が陳述になっている会話。疑問文よりも難易度が高い。
Neg：否定語句が複数含まれていること。項目難易度が高い。
SR： 会話の話し手の役柄が身近な人物でないこと。項目難易度が高い。
IV： 使用頻度の低い語彙が含まれていること。項目難易度が高い。
■ Kostin（2004）は，Nissan et al.（1996）の追実験を行っているが，この５つの変数のうち，３つが項目難易度と有意な相関関係があった。但し本研究では，５つの変数を全て含めて実験を行う。
■ Freedle and Kostin（1996, 1999）は，TOEFLのミニトークに関して，正解の選択肢とテキスト，及び最も多く選択される錯乱肢とテキストの間の語彙の重複を調べ，双方の相対的な割合（lexical attractiveness）が項目難易度の予測変数となることを示した。
■ またFreedle and Kostin（1999）では，正解に関わる情報の位置に関して，テキスト中の最初か最後に来る方が真ん中に来るよりも難易度が低いことを明らかにした。本研究では，A-B-Aパターンの会話文を使用するため，Bにその情報がある場合は難易度が高いという仮説を立てることができる。
■ 以上のFreedle and Kostin（1996, 1999）の研究より，本研究では次の３つの変数を取り上げることにする。
RAK： 正解の選択肢とテキスト間の語彙の重複の割合が相対的に高い。
RAD： 最も多く選択される錯乱肢とテキスト間の語彙の重複の割合が相対的に高い。
NI： ２番目の発話に，解答に必要な情報が含まれている。

4. Method (pp. 113-116)
4.1. Participants and setting
■ 本実験の参加者は，首都圏で実施されたTOEIC公式テストの受験者の中からボランティアで集められた279名で，TOEICのリスニングパートのスコアによって熟達度別に分けられている。またこのスコアは，「事前テスト」として使用する。
■ 実験は９日間，計15回で，FQP，AOP，QSPのフォーマットが各５回ずつ割り当てられており，参加者はそのうちのどれか１回テストを受ける。
■ なお，参加者の事前テストの結果を分散分析で検討したところ，３つのフォーマットのグループが等質であることが確認された。

4.2. Instruments
■ 実験に用いる問題は，TOEICの旧形式を改変したもので，各フォーマットは30の項目で構成される。
■ 参加者は，TOEICのフォーマット（FQP）とは違うAOP，QSPに慣れるための練習を本実験前に行った。
■ リスニングのテキストは，25〜59語の短いダイアログで，テキスト１つに対し問題が１つ付いている形式（旧テストのリスニングセクションPart 3）である。

4.3. Predictor variables
■ テストの項目難易度に関わる項目内容の特性を明らかにするために，以下の11の予測変数を用いた。また，それぞれの予測変数は２人の評価者によってコード化された（評価者間一致率.83）。
1. IF： 受験者に推論を求める項目は１。明示的な情報に基づいた項目は０。
2. UP： 最後の発話が陳述の項目は１。疑問文の項目は０。
3. Neg： テキストに否定語句が含まれている項目は１。
4. IV： JACET 8000の2000語レベルを超えた単語を，使用頻度の低い語彙と定義する。
5. NI： ２番目の発話に，解答に必要な情報が含まれている項目は１。
6. SR： 話者の仕事上の役割が特定できる項目は１。
7. LOK：正解の選択肢とテキストとの語彙の重複がある項目は１。
8. LOD：錯乱肢とテキストとの語彙の重複がある項目は１。
9. LID： 錯乱肢中にテキスト内容の推論を促す語彙が含まれている項目は１。
10. RAK：正解の選択肢とテキスト間の語彙の重複が，最も多く選択される錯乱肢とテキスト間の語彙の重複に比べて多い場合，その項目は１。
11. RAD：RAKの逆の場合は１。

4.4. Analysis
■ テストフォーマットの困難度の違いにつながる特性を明らかにするために，SPSSを用いて共分散分析を行った。分析に際しては，今回の実験結果を従属変数，テストフォーマットの種類を独立変数，事前テストの結果を共変量とし，３つのテストフォーマット（FQP，AOP，QSP）の違いによる影響の差が有意かどうかを調べた（p < .05）。
■ 次に項目難易度を調べて，テスト結果につながる項目の特性がどのようなものかを探った。その際，従属変数には項目難易度をロジットで示したものとし，独立変数には12の予測変数（Table 2参照）をあてた。
■ またこれらの分析のフォローアップとして，各テストフォーマットの困難度を詳しく調べるために，従属変数を項目難易度のロジット，独立変数にテストフォーマットの種類，共変量を事前テストの結果とした共分散分析を行った。

5. Results (pp. 116-118)
■ まず事前テストの結果と本実験のスコアの相関を示した散布図（Figure 1参照）を作成した。３つのテストフォーマットとも全体的にやや強い相関関係を示しているが，参加者の熟達度が低くなるとスコアのばらつきが目立っている。この散布図より，熟達度が低くなるとテストフォーマットの影響を受けやすいことが示唆され，AOPのフォーマットの困難度が他と比べて高いことがわかる。
■ 次に，３つのテストフォーマットの違いを本実験のスコアから分析したところ，その差は有意であった（F(2, 275) = 10.0, p < .05, 補正R2 = .69）。またその後の（ボンフェローニの方法を用いた）多重比較では，FQPとAOP，及びAOPとQSPの間の差が有意であったが，FQPとQSPの間は有意差が見られなかった。このことより，リスニングの前に問題文が提示されることは受験者にとってプラスになるが，選択肢の提示については，得点につながらないことが示唆される。
■ 項目難易度と前述の予測変数との関係を分析する前に，変数間の相関分析を行った。その結果，SRとLOD，またLOKとRAK，RADとの間に共線性が見られたので，SRとLOKを分析で使用する予測変数から除外した。
■ 項目難易度と10の予測変数の関係に関しては，分析の結果，IF，IVの２つの変数に関して有意差が見られた。これは，Nissan et al.（1996）と同様の結果である。
■ RAKとLID，RAKとNeg，RADとNegの間で交互作用が見られた。これは，テキスト中に否定語句が含まれる場合，正答もしくは錯乱肢とテキストに関連性があればより難易度が増すことを示している。但し，　錯乱肢にテキストの内容を推測させる語句があれば，さらに難易度が高くなると言える（Table 3参照）。
■ NegとNIに有意差が見られなかったのは，Freedle and Kostin（1996, 1999），Nissan et al.（1996）とは違った結果であった。NIに関しては，本実験で使用したテキスト（会話文）が比較的短いものであったことが結果に影響している可能性がある。
■ また各テストフォーマットと個々の項目の関係（Table 4参照）については，FQPの形式よりもAOPが難しい（Q12），QSPよりもAOPが難しい（Q7），FQP，QSP双方よりAOPが難しい（Q4, Q22, Q24），というように，５つのテスト項目においてフォーマット間に有意差が見られた。
■ これらの５項目の特徴として，全てにLODが含まれ，４つの項目にLIDが含まれていることが挙げられる。そして問題文には，全て代名詞が含まれている。

6. Discussion (pp. 118-119)
■ 本実験の結果から，リスニングの内容把握問題では，あらかじめ問題文を提示することで受験者のパフォーマンスに差が生じることが明らかになった。またその一方で，答えの選択肢が提示されたとしても得点結果にプラスに作用しないことも示された。
■ 選択肢をあらかじめ提示することは，受験者に対して，語彙マッチングのストラテジー使用を誘発する可能性がある。しかしながら，そのストラテジーに頼ると，問題文とテキストの幅広い関係の理解を妨げる可能性もある。
■ RAKとLIDの間に交互作用が見られたことは，選択肢とテキスト中の語句とのマッチングを受験者が行っていることを説明している。またNegとの交互作用については，テキスト中の否定語句の存在が受験者に誤った解釈をさせる可能性を示している。なお，受験者が選んだ錯乱肢のほとんどは，テキストと重複する語彙や推論を促す語彙が使用されているものである。
■ 但し問題文を提示することで，このような語彙を手掛かりとする方法への依存が弱まり，トップダウン的なリスニングが促進されるであろう。
■ 問題文が提示されていない場合，熟達度が低い受験者では，テキストの状況に関する意味表象を構築することができず，どうしても語彙認識の方に頼る可能性が高い。また選択肢が提示されていたとしても，錯乱肢や否定語句に惑わされることになる。逆に熟達度が高ければ，そのようなテストフォーマットの違いによる影響を受けることなく，意味表象を構築できると言える。
■ FQPとQSPの間に差がなかったことに関して，それぞれのフォーマットが，受験者に対して同じ程度の情報を与えていたと説明できる。実験で使用した問題文は全てwh-疑問文であり，選択肢の提示は，文脈を捉える上での情報としてほとんど付加されなかったかもしれない。
■ 従って，AOPのフォーマットがより受験者のリスニング能力を弁別できる可能性が高いが，リスニングを行う前に選択肢を先読みするという行為は，実際のコミュニケーションを反映していない（Weir, 2005）という反論もある。そして語彙マッチングのストラテジー使用を誘発するフォーマットは，テストの妥当性を制限するはずである。

7. Conclusion (pp. 119-120)
7.1. Implications for testing and teaching
■ 本研究から得られた示唆としては，多肢選択式のフォーマットの違いが，日本人英語学習者のテストでのパフォーマンスに影響を与えるということである。
■ 特に，AOPはテスト結果にマイナスの影響を与える可能性があるため，教師やテスト開発者はAOPよりもFQPのフォーマットを使用することが望まれる。また，選択肢提示の影響が有意でないことから，FQPよりもQSPのフォーマットを使用した方が良いかもしれない。
■ AOPのテストを行う場合は，教師は学習者に対して，選択肢ばかりに注意を向けないようにアドバイスした方が良いであろう。
7.2. Limitations and suggestions for further research
■ 本研究は，テスト項目，受験者，フォーマット，調べた特性などが限られたものであるため，今後さらなる研究が必要である。例えばテスト結果に加えて，テスト受験者のストラテジー使用に関する報告をあわせて検討することも一つの方法として考えられる。

＜コメント＞
本研究は，多肢選択式のフォーマットの違いと難易度との関係，及びその難易度に影響する項目の特性について実証的に調べた興味深いものである。但し欲を言えば，論文の最後に言及されているように，テスト受験者がどのようなストラテジーを使用して解答作業を行っているかももう少し深く議論しても良いかも知れない。例えば，英検タイプのAOPフォーマットの場合，語彙マッチングのストラテジーを使っている受験者の他に，選択肢全体からある程度のトピックを絞り込むという受験者もいるであろう。また，錯乱肢による混乱を防ぐため，敢えて選択肢を何も見ない受験者もいるかもしれない。その辺りを受験者の熟達度との関係を見ながら探っていくと，さらに面白いのではないかと思う。
　しかしテストの妥当性，信頼性という面を考えると，そのようなストラテジーの使用という変数を除くようなフォーマットが望ましいのかもしれない。それが本研究の結論で推奨されているFQP，ないしはQSPのフォーマットということになるのであろう。




2010.05.19（１）

 Skehan, P., & Foster, P. (1999). The influence of task structure and processing conditions on narrative retellings. Language Learning, 49, 93-120.
（発表者：Y.H.）


0. 概要
■　目的：タスク構造（task structure）と処理負荷（processing load）がリテリング課題（narrative retelling task）のパフォーマンスに与える影響を検証。
■ 分析の観点：パフォーマンスの流暢さ（fluency）・複雑さ（complexity）・正確さ（accuracy）。
■ 実験結果：流暢さはタスク構造の影響を受け、複雑さは処理負荷の影響を受けた。正確さには、タスク構造と処理負荷の両条件が必要であった。
■ 考察：パフォーマンスのどのような側面が、学習者の注意や長期的学習効果に関わっているか。


1. 研究の背景
1.1 流暢さ・正確さ・複雑さ
■ 流暢さ：リアルタイムで言語を使用する能力。
→流暢さを強調しすぎると、パフォーマンスが語彙化され、柔軟性がなくなる危険がある。
■ 正確さ：パフォーマンスにおいて誤りを回避する能力。
　　　→正確さを強調しすぎると、流暢さが損なわれ、自信のない表現が回避される危険がある。
■ 複雑さ：より高度な言語使用をする能力。
　　　→複雑さを強調しすぎると、正確さが損なわれ、パフォーマンスが制御しづらくなる危険がある。

1.2 先行研究の流れ
■ タスクに含まれる特徴（Foster & Skehan, 1996など）、タスクが遂行される環境（Skehan, 1996など）、タスクへの準備（Bygate, 1996など）、タスク実施中の操作（Foster & Skehan, 1997など）が研究されている。
■ タスク分類：
・�．僉璽愁淵襯織好�（参加者がよく知っているテーマについて話す）
　　　→課題：「友人に、あなたが消し忘れたコンロの火を、代わりに消してくるように頼む」
・�▲淵薀謄�ブタスク（視覚的題材に基づいて話す）
　　　→課題：「これらの漫画を見て、ストーリーを隣の人に話してください」
・�０媚弖萃螢織好�（価値観に基づき考えを相手に伝える）

1.3 目的
■ �．織好�に含まれる構造が、そのタスクのパフォーマンスに与える影響を探求すること。
■ �▲織好�処理の条件が、そのタスクのパフォーマンスに与える影響を探求すること。

1.4 仮説
■ H1：（タスク構造が明確である）⇒（パフォーマンスの流暢さが増す）
■ H2：（タスク構造が明確である）⇒（パフォーマンスの正確さが増す）
■ H3：（タスク構造が明確である）≠（パフォーマンスの複雑さが増す）
■ H4：（タスクの認知的処理負荷が小さい）⇒（流暢さ・正確さ・複雑さが増す）


2. 方法
2.1 エピソード（→タスク構造について）
■ マテリアル：イギリスのテレビシリーズ『ミスター・ビーン』より、2つのエピソード（8分程度）
・�　屮譽好肇薀鵝廖�比較的構造化された物語。
→レストランでの典型的行動（レストラン・スクリプト）を含み、先の展開がある程度予測可能。
・�◆屮乾襯奸廖�比較的構造化されていない物語。
　　　→一般的なゴルフのルールから逸脱し（ゴルフ場から離れる等）、先の展開が予測不可能。
■ 協力者は、上記のいずれかのエピソードを視聴した。
※参考図（Web掲載の都合上割愛）


2.2 リテリング条件（→処理負荷について）
■ 条件設定：処理難易度が異なる4つのタスク条件を設けた。（�，�最も難しく、�イ�最も易しい。）
・�　峇僂覆�ら話す」（watch and tell simultaneously）
　　　→ビデオを観ながら、同時にストーリー内容を口頭で説明することが求められる条件。
・�◆峪�前にあらすじ→観ながら話す」（storyline given, watch and tell simultaneously）
　　　→ストーリーの概要を聞いたあとで、ビデオを観ながら内容説明が求められる条件。
・��「事前に視聴→観ながら話す」（watch first, then watch and tell simultaneously）
　　　→一度ビデオを観たあとで、もう一度観ながら内容説明が求められる条件。
・�ぁ峇僂襤�話す」（watch first, then tell）
　　　→一度ビデオを観たあとで、ビデオを観ずに自分のペースで内容説明が求められる条件。
■ 協力者は、上記のいずれかの条件でリテリング課題を行った。

2.3 協力者
■ テムズバレー大学で外国語として英語を学ぶ47名。様々なL1背景をもつ学習者であった。

2.4 設定・手順
■ 隔離された部屋で、個別にセッションが行われた。
■ 協力者は、2つのエピソードのいずれかを視聴し、4つの条件のいずれかに従って、リテリング課題に取り組んだ。
■ タスク遂行中の協力者の発話は、録音収集された。
■ タスクに先立ち、ストーリーに関する最低限の情報（タルタルステーキが生肉の料理であること・ゴルフでは手を使ってはいけないこと）が提示された。

2.5 測度
■ 以下の分析方法は、Foster and Skehan (1996) に基づくものである。
■ 録音されたデータは書き起こされ、複雑さ・正確さ・流暢さの指標として得点化された。
・�（�雑さ：（節の数）÷（c-unitsの数）という算出式により推定。
　　　→c-unitは、節相当の独立したまとまりと、それにかかる従属節を合わせて一つの単位とみる。
・�∪騎里機А淵┘蕁爾里覆だ瓩凌堯法燹弊瓩凌堯砲箸い�算出式により推定（%）。
・�Ｎ�暢さ：実験上の理由からポーズによる分析を避け、以下の4つの尺度から推定。
→繰り返し（repetitions）：単語や句を発話した直後に、そのまま同じ発話を繰り返す
→誤った開始（false starts）：発話が完了する前に、途中で放棄する
→組み立て直し（reformulations）：統語的・形態的・語順的な修正を加えて言い換える
→交替（replacements）：上記に当てはまらないような、語彙の代用
■ 数値は、5分あたりのデータとして換算したうえで分析された


3. 結果
3.1 記述統計（エピソードごと・リテリング条件ごと）
※Table 1：Task-based performance（本文参照）
※Table 2：Performance as a function of processing condition（本文参照）

3.2 測度間の相関
※Table 3：Intercorrelations of dependent variables（本文参照）

3.4 二元配置分散分析
■ 有意な結果：
・流暢さ（「誤った開始」など）に対する、タスク構造（＝エピソード）の効果
　　　→構造化されていない「ゴルフ」では、構造化された「レストラン」の約2倍の修復がみられた。
・複雑さに対する、処理負荷（＝リテリング条件）の効果
　　　→「観る→話す」（watch first, then tell）条件が、他の条件よりも複雑さ得点が有意に高い。
　　　→他の3条件間に有意差はない。
・正確さに対する、タスク構造（＝エピソード）×処理負荷（＝リテリング条件）の交互作用
　　　→「観る→話す」（watch first, then tell）条件のみ、エピソード間で正確さ割合に有意差。
　　　→他の3条件では、エピソード間の有意差はない。
※Table 4：Two-way ANOVAs for false starts, accuracy, and complexity（本文参照）

4. 考察
■ 仮説の検証
・H1：支持 （・・・流暢さに対するタスク構造の主効果）
→マクロ構造が分かりやすいタスクほど、リテリング中の修復が少なく流暢。
・H2：一部支持 （・・・正確さに対する交互作用）
→計画されたリテリングにおいては、タスク構造が明確であるほど正確さが増す。
・H3：支持 （・・・複雑さに対するタスク構造の主効果）
→タスク構造は、パフォーマンスの複雑さに影響を与えない。
・H4：不支持？ （・・・流暢さ・正確さ・複雑さに対する処理負荷の主効果）
→タスクの認知的負荷は、流暢さ・正確さに影響を与えない。
→複雑さに対しては、処理負荷の段階的差異でなく、リテリング準備の有無が影響を与える。
■ 研究的示唆
・�．織好�実施中の条件を操作することは、特に難しい（Foster & Skehan, 1997と一致）。
・�▲織好�そのものの特性や、タスクの事前活動（準備時間や内容、すなわち「同一タスクの練習」なのか「題材の予告」なのか）を扱う研究が今後望まれる。
・�６軌藐�果を念頭に置き、長期的な視点での研究が今後望まれる。
■ 教育的示唆
・流暢さ・正確さ・複雑さが言語熟達度の中核ならば、以下の3点をバランスよく指導するべき。
・�｜羇峺生譽轡好謄爐料或陛�複雑化（・・・複雑なリテリングの指導）
・��中間言語システムのコントロール性の向上（・・・正確なリテリングの指導）
・��リアルタイムでの処理を可能にするための、対象言語と語彙化の前進的統合（・・・流暢なリテリングの指導）

★☆★☆★☆★☆★☆★☆★☆★☆★☆★☆★☆★☆★☆★☆★☆★☆★☆★☆★☆★☆★☆★☆★☆

5. 授業内での討議（本研究の問題点）
■ 正確さ・複雑さ・流暢さの関係
・相関分析（Table 3）では、各尺度間の相関が有意でないが、先行研究からはトレードオフの関係（負の相関）が予測されるのではないか？
→今回の実験では、正確さの強調によって流暢さが犠牲になるような課題が行われなかったが、実験方法によってはトレードオフ現象が起こる可能性があるのでは。
→相関係数をよく見ると、正確さと複雑さの正の相関（r = .29）は、0.1%水準では有意でないが5%水準では有意のようだ。※N = 47
→そもそも、タスク条件と測定方法に問題があるのではないか（詳細下記）。

■ 測定方法の問題
・なぜ流暢さに焦点が当てられているのか？
→流暢さを複数の尺度で測定しているのは、流暢さに焦点を当てているのではなく、パフォーマンスの速さやポーズ数を用いた分析が行えなかったから。
→「観ながら話す」の3条件では、ビデオのストーリー進行に合わせた速度でのパフォーマンスになり、「観る→話す」の条件のみ、自己ペースでのリテリングとなる。
→タスク条件の設定が測定方法を歪めてしまっている危険がある。

■ タスク条件の問題
・『ミスター・ビーン』を用いる利点：主人公が英語を話さないこと
→しかし、L2の見本を提示してそれを適宜まねしながらリテリングを行うほうが、学習効果は高いのではないか。

・タスク前の指示や事前練習などは行われたのか？
→本文中に記載なし。しかし、タスクへの慣れが必要と考えられるため、事前練習が行われているべき。
→事前に「タルタルステーキ」と「ゴルフ」の基礎知識を与えたのは、学習者のL1背景などの差を調整するために必要ではあったが、タスク前の情報提示（条件�　Ν◆Ν�）の検証には不適切か。


6. まとめ
※授業での討議を踏まえ、スピーキング評価研究の観点からまとめる。
■ タスクと複雑さ
→スピーキングテストのためのリテリング課題として、「ビデオを見ながらストーリーを実況するタスク」と「ビデオを見た後でストーリーをリテリングするタスク」とでは違いがある。すなわち、プランニングが可能である後者のほうが、複雑さが増す。
■ ストーリーと流暢さ
→スピーキングテストのためのリテリング題材として、「先の展開がある程度予測可能なストーリー」と「奇想天外で予測不可能なストーリー」とでは違いがある。すなわち、背景知識からの予測に合致した前者のほうが、言い直しの数が少なくなる。
■ 討議内容に基づく留意点
・タスクへの慣れを考慮する
・学習効果を狙ったリテリングか、純粋な測定のためのリテリングか
・正確さ、複雑さ、流暢さのトレードオフが生じるのはどのような条件か

＜コメント＞
実用性の高さからも注目されているリテリング課題について、題材となるストーリーとタスク条件がパフォーマンスの正確さ・複雑さ・流暢さに影響を与えることが示された。本資料の1.2でタスクの分類例を紹介したが、同じナラティブ型のタスクでも、視覚的に提示された情報をどのような条件で言語化させるかによって結果が異なるということがわかる。ビデオを使った課題は、絵などを用いる課題と比べてストーリーをより動的に提示できるぶん、統制しなければならない要因も多くなる点に注意が必要であろう。




2010.05.19（２）

 Hirai, A., & Koizumi, R. (2009). Development of a practical speaking test with a positive impact on learning using a story retelling technique. Language Assessment Quarterly, 6, 151-167.
（発表者：S.N.）

※ 以下の章節番号は発表の便宜上つけたものです
1. Background
■ コミュニケーション能力の育成が日本では奨励されている。その流れに沿って、本研究は日本の英語教師、英語学習者のニーズに合った新しいスピーキングテストを開発することを目的とする。
■ スピーキング評価の技術はこれまで多くの研究がなされてきたが (Fulcher, 2003; Luoma, 2004)、現場の教師にとってスピーキング評価は時間的・技術的・経済的に困難なものである。
■ このことは教室におけるスピーキングの実用性の低さにつながり、さらにはスピーキング評価が滅多に行われないことにもつながる (see Akiyama 2004; Honda, 2007)。
■ 結果として生徒はスピーキング活動に真剣に取り組まなくなることが多いため、スピーキング評価の機会を増やすことで学習に正の影響を与えることは重要な問題となっている。
■ このような問題を解決する可能性があるのが、教室活動に基づいたsemi-directなスピーキングテストであるStory Retelling Speaking Test (SRST) である。
■ 本研究の最重要課題は、実用性の高いスピーキングテストを開発することである。そのため、最初にBachman and Palmer (1996) のtest usefulness frameworkに基づいてテストの実用性と影響についてレヴューし、それらの概念がSRSTを開発していく中でどのように統合されるかを議論する。

1.1 Practicality and Test Impact
■ Bachman and Palmer (1996) のframeworkは、SRST開発の重要な点であるテストの実用性とテストが与える影響を他の信頼性、構成概念妥当性、authenticity, interactivenessと同等に扱っているため、SRSTの評価に適している。
※ 相互性 (interactiveness)：テストタスクを達成するとき、受験者の特性が関わる度合いと、その関わり方の種類
■ 実用性はスピーキングテストの中では最も達成が困難な要素である。実用性は、計画、実行、評価、分析の4つの段階で考えられる。SRSTの最終的な目標の1つは、この全ての段階における資源を軽減することである。
■ 実用性と共にテストの与える影響もSRSTでは強調される点である。テストが正の波及効果を与えるためには、学習の活動とテストでの活動に開きがあってはならない。この点を踏まえ、SRSTは教師が教室での活動とテストを容易に結び付けられるように開発された。
■ 上記のframeworkで述べられた他の要素も実用性とテストが与える影響と同等に重要なため、この点は受験者に対するアンケートを行うことで検証した。

2. Designing a Classroom-based Test
2.1 Applying Story Retelling Tasks for Speaking Assessment
■ 教室での評価には、教師にとって学習と評価の関連付けが容易いことが重要であり、この利点をSRSTは持っている。
■ 再話は読解場面で用いられるのならば、産出言語は学習者の母語が好ましいが、Story retellingの目的が学習者のスピーキング能力の評価である場合はL2での産出のほうが好ましい。
■ 再話におけるテキスト提示方法は様々だが、本研究では、協力者のL2熟達度が低いことから、テキストを協力者に読解させる方法をとる。
■ SRSTは読解、再話という2つのセクションからなる。読解セクションでは内容理解問題を設け、協力者の理解が再話するのに十分であるかを確認する。再話セクションでは、テキストを再話することとテキストに関して意見を述べることの2つの機能の観点から学習者のスピーキング能力が評価される。

2.2 Strengths and Weaknesses of SRST
■ SRSTは他のスピーキングテストよりもいくつかの優れた点を持っているが、その最たるものは実用性である。
■ 計画段階では、教師は再話に用いるテキストを探すだけであり、テストの難易度もそのテキストによって変化させられる。
■ 実行段階では、LL教室でテープを介在させて行えば、時間もかからず、実行に必要な人数もテープの録音を促す者1人である。
■ 評価の段階では、産出内容は使用したテキストからほぼ予想できるために評価の訓練や分析にかける時間は大幅に削減できる。
■ 波及効果の点では、より多くの発話を促せる、教師が文法項目やキーフレーズのような目標とした点をマテリアルに含めることができるという2つの利点がある。SRSTでは教授、学習、評価が密接に結びついており、学習も効果的なものとなる。
■ SLAの観点からは、産出が目的の場合、読解においてより深い認知処理が行われるため、学習が効果的になる。特に再話の最後で自分の意見を述べることは深い認知処理を必要とし、そのような活動はスピーキング能力が低いとされている日本の学生には強く推奨できるものである。

■ SRSTには弱点もあり、それらは留意しておくべきである。1つは、SRSTはテキストに依存している形式であるため、受験者の記憶容量がスピーキングのパフォーマンスに影響する可能性があることである。本研究では異なる長さのテキストを用い、受験者に再話のしやすさの評価とその理由を尋ねる。
■ 2つ目は、SRSTではテキスト理解の程度もその後のスピーキングパフォーマンスに影響するため、テキストの影響は最小限であるべきということである。
■ 3つ目は、再話段階で受験者はテキストから学んだ語や句を使うため、SRSTはそれらを評価することになってしまうことである。

3. Administering Test
3.1 Participants
■ 43名の日本人大学生
■ 2つのタイプのテスト (aural spelling and meaning test / written vocabulary test) から算出された語彙サイズから推測すると、協力者の熟達度は低〜中級レベルであった (see Table 1)。

3.2 Materials
■ 英検3級、4級の過去問から100語程度のテキストと150語程度のテキストの2つずつが読解テキストとして用いられた (see Table 2)。
■ それぞれのテキスト読解後に内容理解問題が3問ずつ提示された。
■ 再話セクションでは協力者の再話を促すためにテキストから4つの語が選択された。
■ SRST後に用いるアンケートは3部構成になっている。Part 1では受験者の海外在住経験や英語の資格や外部テストの成績が問われた。Part 2, 3ではテストの質に関して質問がなされ (see Table 3)、Part 2では5 -point scaleで、Part 3では自由記述式の回答形式であった。

3.3 Procedure
■ SRSTはLL教室で行われた。
■ 4つの読解テキスト提示順序はカウンターバランスがとられた。
■ テキスト読解 (2 min) → 内容理解問題を口頭で読み上げる・解答 (40 sec per one question) → 再話 (2 min) → 4つのテキストで同様の手順を繰り返す → アンケート

4. Results and Discussion
4.1 Analysis of Questionnaire
4.1.1 Construct
■ テストの構成に対する受験者の反応を検証するために、アンケート内で4つの設問が設けられた (Q 2-2, 3 ,7, 8)
■ ANOVAの結果、Q 2-8は2-7よりも評価が高く、このことはSRSTのface validityに対する正の結果だと言える。Q 2-2と2-3の間に有意差は無かったが、これは読解セクションが内容理解問題の音読と口頭での解答を求めていたためだと思われる。
4.1.2 Impact
■ SRSTが受験者の学習に対する効果を検証するために、アンケート内で3つの項目が設けられた (Q 2-20, 21, 22)。
■ これら3つの項目における評価は高く、Q 3-4, 3-5における記述でもテストの学習の正の効果についての記述が見られたことから、SRSTは学習者のスピーキング能力と英語学習の動機づけに正の波及効果を与えるといえる。

4.1.3 Interactiveness
■ 相互性についてはテスト内の受験者の情意面を問う2つの項目によって検証された (Q 2-17, 2-19)。
■ これらの評価の結果、受験者はSRSTにおいて中程度の緊張を感じ、発話を促されていることが示された。

4.1.4 Appropriateness of Procedures
■ 支持や録音の方法に関する項目の結果から、SRSTは教室内で他の受験者を妨害することなく、一斉に行うことが可能であると示唆された。この結果から、SRSTの手順は適切かつ実用的であり、受験者のパフォーマンスを引き出すものであるといえる。
■ しかしながら、Q 3-2から初めて再話を行う際に戸惑った、意見を含めるには時間が不十分だったという記述が見られたこと、Q 2-4, 2-5から内容問題解答の時間がやや長過ぎたという評価が得られたことから、これらの点が改善された。

4.1.5 Appropriateness of Task Difficulty and Test Materials
■ Q2-1, 2-6の結果から、受験者は内容理解問題の解答よりも再話タスクに困難を示していた。これは、スピーキングの難しさがテキストの難しさによるものではなく、スピーキングタスクそのものによるものだということが分かった。よって、タスクの困難度は適切であったと考えられる。
■ Q3-3の記述から、受験者の多くは再話タスクの難しさに言及し、その原因の1つにテキストが面白みに欠けることや普段英語で自分の意見を伝達する機会がないことによることが分かった。このことから、再話タスクにおいて受験者が自分の意見を述べることを促すような質問を、テストにいくつか含ませる必要がある。
■ テキストの適切さについて、Q3-1の結果から、再話に影響するテキストの主な要因は「内容」であり、次に「長さ」であることが分かった (see Table 4)。しかし、実際はこの2つは相互に関連していることから、中級者にSRSTを行う場合は今回のような長さのテキストで、長さに違いのあるテキストを2つ用いることが内容と長さの再話に与える影響を弱めることに必要であるといえる。

5. Conclusion and Plans for Future Research
■ SRSTにおける実用的かつ妥当性のある採点システムを確立することが必要である (e.g., EBB)。
■ SRSTの利用可能性を妥当性、信頼性、影響などの様々な観点から検証することが必要である。妥当性については、既存の様々な種類とのテストの相関を分析することで検証できるであろう。
■ 本実験では対象を熟達度が低〜中級程度の学生としたが、今後はより熟達度の高い学生を対象にし、テキストの難易度の変更や読解を聴解にするなどして検証していくことが望まれる。

6. Comments in Class and Little Research
■ Topic Familiarityは読解にも再話にも影響を与える要因だと考えられるので、マテリアル選考の際には注意したい。
→　テキストの性質による影響を極力無くすためにもTopic Familiarityやinterest、長さや難易度などが異なるテキストを複数用いることが妥当である。Topic Familiarityについては、近年の実証研究においてもL2読解への正の影響が示されている (e.g., Lee, 2007; Leeser, 2004)

■ 読解が不十分である可能性を排除するために、読解セクションに制限時間を設けないほうが良かったのではないか。
→　SRSTの最たる強みはその実用性にあり、一斉実施を行うためには時間設定が必要である。SRST後のアンケートでは、読解セクションの時間が足らなかったという回答は見られなかったことから、今回の研究に関しては十分に読解にかける時間が設けられていたと考えられる。

■ 熟達度の指標として語彙テストを用いたのは何故か。
→　日本人英語初級者 (中学3年・高校1年) を対象にスピーキング能力と語彙の関係を検証したKoizumi (2005) では、学習者の発表語彙知識はスピーキング能力の61%を説明可能であることを示した。よって、本研究では発表語彙知識を測定するテストを協力者の熟達度の1つの指標として用いている。

■ EBB scaleとは?
Empirically derived, Binary-choices, Boundary-definition scaleの頭文字を取ったもの。実際の学習者のサンプルを基にして作成される (Empirically derived)、評価者によって定められた複数の2択質問 (Yes / No) から構成される (Binary-choices)、最終的には学習者のPerformanceをいくつかのレベルに分ける (Boundary-definition) という特徴を持つ評価尺度である (以下に一例を提示しておきます)。（※Web掲載上割愛：An example of EBB scale . Appendix form Turner & Upshur (2002)(6. Comment in Class and Little Researchの)） 　　
EBB scaleは理論に基づく評価尺度への批判から生まれた、比較的新しい評価尺度である。尺度作成に時間と労力を要すること、一般化が難しいことへの批判もあるが、特定のタスクのPerformanceに関して評価する際にはEBB scaleは有効であるとされている (see Turner & Upshur, 2002)。


参考文献
Koizumi, R. (2005). Predicting speaking ability from vocabulary knowledge. JLTA Journal, 7, 1-20.
Lee, S. K. (2007). Effects of textual enhancement and topic familiarity on Korean EFL students’ reading comprehension and learning of passive form. Language Learning, 57, 87-118.
Leeser, M. (2004). The effects of topic familiarity, mode, and pausing on second language learners' comprehension and focus on form. Studies in Second Language Acquisition, 26, 587-615.
Turner, C. E., & Upshur, J. A. (2002). Rating scales derived from student samples: Effects of the scale maker and the student sample on scale content and student scores. TESOL Quarterly, 36, 49-70.



2010.06.02（１）

Orr, M. (2002). The FCE Speaking test: using rater reports to help interpret test scores. System, 30, 143-154.
（発表者：M.H.）

Abstract
テストの成績を解釈することは、受験者が何を表現しているかをテストの評価者が理解することに依存する。本研究は、テストの評価者が、受験者のスコアを決定するまでの間にどのような思考をするのかを解析したものである。同じスコアを与えた場合でも、評価者間の評価の基準が異なる場合があり、また受験者間の比較においても評価者の思考プロセスにおける判断基準が一定でないことがわかった。現状では、英語のSpeakingテストにおいて、スコアがどの言語能力を反映したものであるかを正確に把握できないことが結論づけられた。

1.Introduction
■テストの成績を解釈するのは受験者が何を表現するかをテストの評価者が正しく理解することに依存する。テストでは受験者の能力は、評価尺度に基づく言語能力モデルに関連づけられる数字で評価されている。ESLテストの分野で、評価尺度として良く知られているのが、University of Cambridge First Certificate in English Speaking test である。このFCEスピーキングテストでは、UCLESが標準的な口頭試験のシステムとして信頼されている（Saville & Hargreaves, 1999, p. 49）。口頭試験における評価尺度の実際のデザインは、North & Schneider, 1998; Upshur &Turner, 1995によって議論されているが、Fulcher(2000, pp. 483-497)によって、言語発達と構造に関しては机上の空論（armchair）の概念として批評されており、Douglas(1994, p. 134)は口頭試験の評価尺度が標準化されるのは難しいという立場であった。
■Chalhoub-Deville & Turner (2000)は、（他の言語テストの間の）FCEの妥当性を議論するには、テストのスコアに基づいた情報が高い品質を保つことが不可欠であるとした。テストとスコアの特性を調査して、公的に情報を有益にする必要があり、FCEの技能テストに関しては公開された情報が十分でないことが課題であると指摘した。しかしながら、現在では（UCLES, 2000）のニュースレターがある。
■FCEスピーキングテストにおけるGrammar、Vocabulary、Discourse Management、Pronunciation、およびInteractive Communicationの評価基準の分析者に焦点を当てて、第二言語の能力評価を観察する窓口として、テスト教材、受験者、評価尺度の対極側にあるものとしてテストの評価者が位置づけられた。評価者は得点を与えている間に何を思考しているかを報告した。このタイプの質的データは、受験者を区別するプロセスについての情報を与え（Pollit & Murray, 1996）、評価者のトレーニングの目的を有益なものとし（Weigle, 1994）、如何にして評価者がスコアの決定に至るかまでを調査するのに役立っている（Milanovic et al., 1996; Taylor, 2000, p. 15）。提案されたスコアの解釈のために健全な科学的な基礎を与える根拠を蓄積するプロセスにおいて用いられることができる（AERA, APA, and NCME, 1999, p. 9）。
■FCE結果の解釈における最近の進歩は、ALTE(2001)によって公表されたスキルのための記述子、”Can Do”である。FCEはレベル3において、様々な事象において話すこと、意味を理解することができる、とされる。テストスコアが何を意味するかを確信するためには、評価尺度が適用されていることを知る必要がある。

2. Method
■シミュレートされたFCE Speakingテストのビデオ録音(ペアに組まされたインタビューにおける2人の受験者)を見た直後、32人の評価者から分析評価過程に関する口頭報告が収集された。評価者には結論に達するまでのプロセスに興味を持っていることが告げられた。2人の受験者のためにスコアに達するまでの間で得られるそれらのレポートは記録され、もう2人の受験者に対して同じ手順が繰り返された。4人の受験者はバレンシア(スペイン)のイギリスのCouncilの中間的なレベルのボランティアであった。16から30歳までの3人の男性と1人の女性であった。抽選で組み合わせを行った。
■評価者は、スペイン、モロッコ、イギリス、およびスコットランドの公式のFCE評価者で、22人の女性、および10人の男性であった。32人の内、3名は評価者トレーニングプログラムを管理するのに責任がある3 Team Leadersであった。
■言語プロトコル分析は以下の過程で行われた(Green, 1998)。口頭報告は、データに自然に現れるカテゴリに基づいて転写されて、区分されて、成文化された。スコアに関する定量的データを補うためにレポートの形式を取ることで、質的データを産出した。FECのスコアの範囲は1-5で表され、3は”十分”の状態で、2以下は”明確な失格”、2.5は”不可”、3は”可”、3.5は”良”、4以上は”優”とした。32人の評価者のうちの19人が受験者に対して合格か失格であるかを示し、スコアと評価者のコメントが比較された。

3. Results and discussion
■Table 1-8は、失格、不可、可、良、優のそれぞれのカテゴリにおけるスコアを何人の評価者が与えたかを示している。太字の数は、何人の評価者が大多数の意見とかけ離れているかを示している。スコアの各Tableに続いて、評価者コメントが示されている。
■同じ能力に対する評価者の認識はばらついており、訓練された評価者が異なった認知を有しているのかを明らかにしなかればならない。
1. スコアには必ずしも反映されているわけではないが、異なる基準が適用されている。
2. 評価者は同じ方法における採点の基準に焦点が合わせられていない。例えば、2番の受験者に関するGrammarとVocabularyでは、32人の評価者のうちの17人は彼の”語彙範囲”にコメントした。一方、3番の受験者のDiscourse Managementでは、8人の評価者が彼の“スピーチ範囲を広げる能力”に関してコメントし、他の24人はコメントしなかった。したがって、何人かの評価者は、査定評価基準に留意したが、他の評価者はほかの点に注意を払った。
3. 各受験者に関して留意した情報において基準を設けない（non-criterion）で評価したかをTable 9に示している。表には各受験者の能力に関して、non-criterionの観点からのコメントの量の最小値と最大値を掲載している。
■Table 10には、能力に関する3つの観点からコメントが示されている。(j) 受験者のプレゼンテーション能力や、ボディ・ランゲージ能力、テストのための準備。 (f) 受験者はどのように他の学習者と比較したか。 (c) 国際感覚の形成。
この情報に留意することによって、スコアにどれほど影響を及ぼしたかは、大体推測される。推測に加えて、口頭報告では、評価者が評価基準を、どこで含めたかが示される。
■(j) 受験者のプレゼンテーション能力に関しては、Discourse Managementで評価しており、4番の受験者のアイコンタクトに関して、21人の評価者はアイコンタクトをあまり上手くコントロールしていないと評価し、23人の評価者は、Interactive Communicationでは1番の受験者のボディ・ランゲージが下手であるとしている。
■(f) 受験者が他の学習者と比較されることに関しては、14人の評価者が、スコアを決定する時に、他の学習者との比較について言及した。ペア形式で与えられるテストでは比較し易い。言語能力のモデルに基づく評価尺度を持つ意味は、受験者のスコアを評価尺度に比較することができるということである。しかしながら、評価者自身では、学習者間で評価尺度を比較することがより困難であるように思われている。実際、何人かの評価者は、評価尺度が不明瞭で比較すること自体が不必要であるとコメントしている。数例をTable 11に示している。最後に、受験者の国際感覚が広く批評された。いくつかの例がTable 11で示されている。
■コメントの最初の設定では、厳しさを変えるという証拠を見出しており、2番目と3番目の設定では、能力を異なる観点から評価したことが示唆されている。最も重要なポイントは、評価尺度とcommunicative language 能力に関する成分に向けられる評価者の注意が抑制されることである。
■口頭報告は、大多数の意見と最も異なっていた判断を有するような評価者のプロフィールを検討するために用いられた。合計25人の評価者(すべての3 Team Leadersを含む)が少なくとも1回は大きく多数意見と異なっていた。これらは、Table1で強調された評価者である。8人の評価者（1人のTeam Leaderを含む）は、受験者3もしくは4の基準に外れがあった。しかしながら、その他の基準では外れはなかった。その内、3名は受験者の評価プロセスと、ボディ・ランゲージとアイコンタクトに留意して比較した。
■7人の評価者が、3番目の受験者が可以上であると判断する一方で、22人の評価者は良と判断している。Interactive communicationにおいて3番目の受験者にスコアを与えるとき、これらのひとりが尺度に関する記述を引用しており、この評価者は4.5を与えたが、なぜ5にしなかったかは説明できなかった。同じ能力、同じ尺度に関する記述に対して、異なる解釈を与えることによって、各評価者が、与えたスコアとの間に固有の相互作用を有しているように思える。

4. Conclusion
■本研究はFCE評価者が発話能力を評価している間に思考していることを解析したものである。評価者が彼らの判断の厳しさの基準が異なっており、このばらつきが必ずしもスコアに反映されたというわけではなかった。その結果、ある評価者がGrammarとVocabularyにおいて、誤りが多く受験者に3のスコアを与えたが、別の評価者が、文法上で良く出来たと判断している時でも同じスコアを与えていた。
■能力を分析する方法が評価者の間で異なっており、それぞれの評価基準の成分が異なった順列で評価されていた。つまり、評価者が評価基準に関連していないような能力に注意が払われていた。評価者による口頭報告は、McNamaraの結論(1996, p. 246)を支持しており、FCEスピーキングテストのスコアを解釈するのに用心深くあるべきであることを示唆するものである。
■多くの評価者の口頭報告は、評価基準に固執することの難しさを示している。評価者が評価尺度に基づいているコミュニケーションの言語能力のモデルを理解していないという証拠にもなっている。したがって、どのようにSpeakingテストのスコアを解釈できるかに掛っている。この事態を改善するために、2つのステップが示唆された。短期間、トレーニングが必要である評価者に対しては、評価基準が確立されることとされないことに関する問題を認識させることである。評価者には、十分な能力とはどういうことか、そして、不十分とはどういうことか、かが教えられる必要がある。
■第2ステップは、実際にSpeakingテストの評価尺度のユーザビリティと有用性に留意させることである。 評価者の認知に関する労力は、トレーニングが不適切であったり、尺度を誤って使用するということを防ぐことに大きく割かれている。UCLESの評価尺度デザインの確立に向けられたデータは、発話能力をより正確に反映したものになるであろうし（Tayler, 2000, p. 15）、新しいIELTSスケールが発展している（Taylor & Jones, 2001）。
■テストにおける正当性は、テストのスコアがどのように解釈されるかに係っている。語学の試験担当者は、スコアが何を反映するかを確信しているべきであるが、残念ながら、評価者の認知のばらつきがFCEによって示されており、Speakingテストのスコアの場合では、正当性の確実性がまだ十分ではないことが示されている。

＊FCEテスト。British Council Japan　http://www.britishcouncil.org/jp/japan.htmより参照。

ケンブリッジ検定試験は、1858年より英国ケンブリッジ大学の海外試験評議会(Cambridge ESOL = English for Speakers of Other Language)で研究・開発され、現在では、世界150ヵ国以上の国々で毎年約35万人が受験している。テストの種類は、一般用英検からビジネス英検・留学用英検、そして子供用英検があり、各レベルに対応している。さらに、英語の教師用資格の認定を行っている。
　読む・書く・聞く・話す・文法の5技能を総合的に評価し、国際基準からの受験者の英語力を判定する。特に、スピーキング試験は、ケンブリッジ大学によって認定された試験官によって行われている。ケンブリッジ検定が重視しているのは、受験者の英語による的確な意思伝達能力、コミュニケーション能力とされている。国際的に定められている能力評価基準 (=ALTE)に沿った5段階評価方法が採用されている。


2010.06.02（２）

Huei-Chun, T. (2002).A study of task type for L2 speaking assessment.Online Submission, Paper presented at the Annual Meeting of the International Society for Language Studies (ISLS) (Honolulu, HI, Apr 2-4, 2007)
（発表者：E.S.）　

■ The purpose of the study is to investigate the effect of task types on the performance of EFL speaking tests for Taiwanese college students.
■ The task types of this study are answering questions, picture description, and presentation.
■ The most important questions to investigate are:
1. Will test takers perform differently toward those three tests?
2. Are there any differences in the accuracy, complexity, and fluency of test takers’ discourse in terms of different task types?
3. What are the test takers’ perceptions toward the three tasks?
■ The subjects of the study were 30 students of English major at a university in Taiwan

Introduction
■ The teaching and learning of a second language (L2) is done orally due to the existence of Communicative Language Teaching (CLT).
■ “Precommunicative” was the term used for the earlier test of oral proficiency, whose tasks mainly focused on mechanical repetition of words and sentences, the supplying of patterns answers to pattern questions, and substitution drills and this kind of test was considered unauthentic by language teachers and testers (Shohamy, Reves, and Bejerano ,1986).
■ Direct tests of speaking proficiency engaging the examinee and one or more human interlocutors in communicative oral interactions have been developed (Clark, 1975).
■ A number of variables in direct speaking test, such as the role relationship, personality and grades of testers and respondents, the purpose of the interaction, the topic, and the setting, tend to affect test takers’ scores. Therefore, those variables should be controlled by conducting oral tests in a more uniform way (Shohamy, 1994).
■ Semi-direct oral tests, in which test-takers respond to authentic recorded and visual tasks requiring the production of discursive reactions, were developed to ensure the reliability and validity without compromising the communicative features of oral tests.
■ The oral tests are uniform tests because test takers perform similar language tasks, but they involve a variety of communicative characteristics since they provoke a wide range of oral interactions and discourse strategies.
■ The development of tests of oral language proficiency for use with foreign language learners has got much attention, but due to its practicability compared with paper and pencil testing, this field has been largely neglected (Cohen, 1980).
■ An important goal of foreign language learning is to acquire oral facility in the target language.
■ Though there has been much attention to the assessment of L2 oral proficiency, the efforts to develop valid and reliable oral testing methods are barely sufficient. (Robinson, 1992)
■ Seeing whether task characteristics have interesting effects on the nature of speaking performance is one promising area for language testing research since it is important to conduct research on task types and to explore the predictability of the language characteristics associated with such task (Skehan & Foster, 1999).
■ The impact of task type on L2 speaking assessment has been an interest in a few studies and among them, very few have dealt with the implementation of EFL speaking tests to Taiwanese students and this study, based on empirical evidences and descriptions of speaking assessment tasks, is conducted to contribute the understanding of L2 speech performance and to offer implications for designing EFL speaking tests.

Literature Review
■ The measurement of oral proficiency seems to be one of the areas of most persistent difficulty in language testing (Bachman & Palmer, 1981)
■ Dandonoli & Henning (1990) examined the construct validity of the ACTFL Proficiency Guidelines and oral interview procedures whose results provided strong support for the use of the Guidelines as a foundation for the reliability and validity of the Oral Proficiency Interview (OPI).
■ A study by Stansfield & Kenyon was conducted in 1992 to develop and validate a simulated oral proficiency interview (SOPI) as an alternative method to the face-to-face procedure employed by OPI.
■ Shohamy (1994) examined the validity of direct versus semi-direct oral tests whose results showed the similar validity but they had differences in the elicitation tasks and the language samples obtained.
■ A study by O’ Sullivan, Weir, & Saville (2002) addressed the relatively neglected area of validating the match between intended and actual test-taker language with respect to the language functions representing the construct of spoken language ability.
■ Oral tests are subjective in nature and there are no clear criteria for correctness
■ Shohamy (1983) examined inter-and-intra-rater reliability of the oral interview test and suggested that speaking tests can be used reliably by decision-makers in spite of their subjective nature.
■ There were several other studies such as Chalhoub-Deville’s study (1995), Halleck (1995) and Kenyon & Tschirner (2000)
■ O’ Loughlin’s study (2002) examined eight male and eight female test-takers undertaking a practice IELTS interview with a female and a male interviewer in two different occasions, showing the result that gender did not have a significant impact on IELTS interview.
■ Several studies which are related to the purpose of the present research, to examine the effects of task type for oral assessment, are:
・ Henning (1983): comparing three methodologies of imitation, interview and completion for reliability and validity by employing an initial sample of 143 adult Egyptian EFL learners and finding that the pronunciation component of the imitation method exhibited highest overall validity across indexes
・ Carpenter, Fujii, and Kataoka (1995): designing oral interview procedure for eliciting a representative sample of spontaneous Japanese language abilities from children aged 5-10 showing the result that the procedure elicits a language sample that is superior in quality and quantity to other existing Japanese oral test instruments for children.
・ Foster & Skehan (1996): investigating the effects of planning time and tasks of personal information exchange, narrative, and decision-making on the variables of fluency, complexity and accuracy, showing the result that planning had more influence on the tasks of narrative and decision-making.
・ Skehan & Foster (1999): exploring the effects of inherent task structure and processing load on the performance on a narrative retelling task.
・ Jeng et all (2000) using experimental design methods to compare the tasks of oral assessment showing the result that individual interviews took more time and efforts but it had higher value due to the interaction between examiners and examinees.
・ Wu (2002): investigating the effects on task difficulty of performance conditions associated with the code complexity of written input in the read-aloud tasks of a semi-direct speaking test.

Method

Subjects
The subjects were 30 students at University of Taiwan studying at a university in Taiwan at the Department of Applied Foreign Languages who has a high-intermediate level of EFL proficiency.

Instrumentation
1. An EFL speaking test: a semi-direct test with Chinese instructions printed in the test booklet and recorded on the audio tape.
■ Answering three questions, heard once, given 30 seconds to answer one question
■ Describing a picture accompanied by three guided questions written in Chinese, given 30 seconds to look over the picture and 9- seconds to describe the picture
■ Presenting the ideas for 90 seconds based on a statement given after spending 90 seconds earlier to elaborate their ideas.
2. An affective questionnaire, based on Scott’s (1986) work: to elicit tests takers’ affective reactions toward the speaking test and the tasks given. There were four parts and 35 questions in total.

Procedures
30 subjects, divided into three groups, were randomly assigned with different presentation order tested in a language-lab setting and responded in an audiotape. It took 10 minutes for each subject and they answered questionnaires.

Data Analysis

■ Two English teachers of native speakers, assessed each subject’s answer tape and assigned score based on Shohamy’s (1985) holistic rating scale for speaking test (Table 1)
■ The computed interrater reliability was 0.76
■ This study adopted the analytical approach to analyze subject’s performance data
■ The recorded speech samples were transcribed and coded to measure the accuracy (calculating the number of error-free clauses as a percentage: Skehan & Foster, 1999), complexity (dividing the number of clauses by the number of communication units: a simple clause, or an independent subclausal unit, together with related subordinate clauses: Foster and Tonkyn, 1996) and fluency (dividing the number of the syllables in a given speech sample by the time taken to produce them and multiplying the result by 60: Mehnert, 1998) of the subjects’ performance.
■ The statistical procedures, ANOVA, was conducted to test the hypotheses concerning the research questions.

Results
■ Subjects Performances on Speaking Tasks
As explained in page 6-7, there was no significant difference in the subjects’ holistic rating scores, that is test-takers did not perform differently on various task types of EFL speaking test
■ Subjects Perceptions of the Speaking Test
Having been required to indicate their agreement on a 5-point scale, the test takers elicited their affective reactions toward the speaking test and the result is as shown in table 6 pg.8

Discussion
■ Skehan & Foster (1999): complexity of language was influenced by processing load and mainly affected by the conditions under which tasks were done.
■ In this current study: there seemed to be more processing load for answering questions since test takers were expected to provide answers directly related to the questions.
■ In part of describing pictures, less processing load was involved due to the flexible nature of description.
■ There is a possibility that answering questions seems to be the most common task of EFL speaking tests used to exhibit the oral proficiency than picture description or presentation.
■ Based on the affective questionnaire, the subjects felt more nervous before the task of answering questions because it appeared to be a kind of semi-interview and they might feel communicating with real people.
■ Oral task of picture description was more interesting because of the visual cues provided by the task.

Conclusion

■ Taiwanese college students performed better in the EFL speaking task of answering questions by exhibiting more fluency and complexity.
■ It is important to see whether task characteristics have interesting effects on the nature of speaking performance.
■ By providing empirical evidences and descriptions of speaking assessment task, the study can contribute to our understanding of L2 speech performance, and further to offer implications for designing EFL speaking tests.



HIRAI SENSEI’S CLASS DISCUSSION
■ Oral task of picture description was more interesting because of the visual cues provided by the task.
It means that by looking at the pictures given, the test takers will be stimulated to think about their answers and they will have more opportunity to think about the answers, arrange and formulate the sentences, so when they have to give description, they will do better.
■ In this current study: there seemed to be more processing load for answering questions since test takers were expected to provide answers directly related to the questions.
In this kind of oral task, the test takers do not have longer time to think about the answers since they have to answer the questions given right after hearing the questions from the raters or the interviewees. This kind of situation becomes something which is more burdening for the test takers since they cannot predict what kind of questions they will receive.
■ An affective questionnaire, based on Scott’s (1986) work: to elicit test takers’ affective reactions toward the speaking test and the task given. There were four parts and 35 questions in total.
In this paper, the questions and the response are printed in page 7-8. This questionnaire was conducted immediately after the oral test because the writer of the paper wanted to know the affective reaction of the test takers.




2010.06.09（１）

 Brindley, G., & Slatyer, H. (2002). Exploring task difficulty in ESL listening assessment. Language Testing, 19, 369-394..
（発表者：S.T.）
�� Introduction
1. Outcomes-based approaches to assessment and reporting
■ 近年、言語教育プログラムにおいては教育成果に関してより明確な情報が求められる
■ 結果に基づいた教育のアプローチはカリキュラムと指導の整合性などの点でメリットもあるが、到達度を決定する際に使用されるテストの妥当性及び信頼性についてさまざまな議論が行われてきた
■ 大きな問題点として、教師が作成したテストの比較可能性がある。テストに含まれるタスク間で比較可能性が乏しい場合、これらのテスト結果から推定されうる到達度の妥当性及び信頼性は保証されない
■ 本研究はオーストラリアのthe federal government-funded Adult Migrant English Program (AMEP) で使用されている、結果に基づいたカリキュラムと測定の枠組みであるCertificates in Spoken and Written English (CSWE) を用いて、タスク間の比較可能性について検討する
■ 特に、タスクの条件及び特徴がリスニングの能力を測定するタスクの困難度に及ぼす影響に焦点を当てる

2. Background: The Certificates in Spoken and Written English
■ CSWEの枠組みは、オーストラリアにおける成人の移民が、英語の社会に適応するのに必要な言語能力の基準を示す
■ CSWEによる基準は口頭のインタビューによって測定される言語熟達度によって4段階あり (p.371)、Australian Second Language Proficiency Ratings (ASLPR) とほぼ対応している
■ CSWEによる言語能力はelements、performance criteria及びrange statementsの3つに下位分類される (see Table 1)
■ CSWEの基準によって測定された言語能力はDepartment of Immigration and Multicultural Affairs (DIMA) に報告され、オーストラリアにおける全ての受験者の能力を把握することが可能となる
■ DIMAによって算出された受験者能力の平均がAMEPの効果の重要な指標の1つとなる

�� Assessing achievement in a competency-based system: issues and challenges
1. Achieving consistency
■ CSWEのタスクは全ての受験者に対して同じ能力を測定することが目的であるため、同一の言語活動を導き、同様の方法で採点されるように作成される必要がある
■ また、採点者による受験者能力の判断も高い一貫性が求められる


2. Identifying and controlling variability
■ しかし、現実的には一貫した受験者能力の測定を行うのは難しい
■ 同じ能力を測定するタスクにもかなりのバリエーションがあり、それぞれのタスクの特徴や条件によって受験者のパフォーマンスは影響を受けることが指摘されている
■ 受験者能力を測定する妥当性の高いタスクを作成するには、それぞれのタスクがもつ影響を明らかにすると同時に、実現可能な範囲で統制できるようにしなくてはならない

�� The Study
1. Aims
■ CSWEにおけるリスニングタスクの困難度に最も影響を及ぼすタスクの特徴及び条件を明らかにすること
■ これらの特徴や条件がrange statementにどの程度反映されているのかを調べること
■ 特徴及び条件が異なるタスクがテストの得点に与える影響を検証し、(もしこれらの影響があった場合には) タスク及び項目の困難度が異なる理由を明らかにすること

2. The listening competency
■ 本研究が対象とする能力はTable 1 に示されている” Can demonstrate understanding of an oral presentation/repot?” であり、これは非相互的なリスニング能力の測定を目的としている

3. Selection of variables
■ 比較可能性の観点から、range statementsに含まれていないタスクの特徴及び条件があるかを明確にする必要がある

4. Investigating listening task difficulty
■ 本研究におけるタスクの定義は先行研究に従う (p. 375)
■ 先行研究においてリスニングにおけるタスクの困難度に影響を与える様々な要因 (e.g., the nature of the input) が検証されてきた、しかしタスクの特徴が項目困難度に与える影響 (e.g., amount of lexical overlap between the text and the response format) について検証した研究はあまり多くはない
■ 本研究ではCSWEが測定するリスニング能力に最も関連があると考えられる5つの要素 (speech rate、text type、number of hearings、input source、item format) に絞り、それぞれの要素が受験者の得点に与える個別の影響を検証する。

5. The assessment tasks
■ AMEPの教員によって考案された “Education”、”Jobs”そして”Dogs”の3種類のタスクが用いられた
■ “Education” はオーストラリアの教育システムに関して録音された2分程度のモノローグを聞きながら10問からなる文に語を補充するタスクである。このタスクは統制タスクとして全ての受験者に課せられた

■ “Jobs” は180語/分という通常の発話スピードで録音された職探しに関するモノローグであり、1度聞いた後に”Education”と同じ形式の語を補充課題に取り組むタスクである
■ “Dogs” は盲導犬協会に関するモノローグであり、速度や課題の形式は”Jobs”と同様である
■ 本研究はタスクの特徴及び条件の影響を検証するため、”Jobs”と”Dogs” はItem format、Text type、Task conditionを変化させたタスクを作成し、それぞれ4種類ずつ準備した (Table 2)

6. Procedure
■ オーストラリアのESL学習者284名に様々なバリエーションのある3種類のタスクに取り組ませた
■ 協力者は最初に“Education”に取り組み、その後”Jobs”及び”Dogs”に取り組んだ。”Jobs”と”Dogs”の順序はカウンターバランスを取った
■ 各課題において聞き取りを始める前に課題を概観する時間が与えられ、その時間内では辞書の使用も許可された
■ テストの回答は8人の熟達したESL教師チームによって行われた
■ 採点は二分法にて行われ、正答か不正答かのどちらかで判断された

�� Results
1. Analysis of combined test scores
■ 最初にRasch-based Questプログラムを用いて、個人の能力と項目困難度を算出した
■ 問題のあった1つの項目を除き、3種類のタスクの問題における各項目を個別の項目とし、合計89項目の項目困難度を推定した
■ 統制タスクである”Education”によって推定された項目困難度を基準として、”Jobs”及び”Dogs”の項目困難度の推定を行った (Table 3)
■ 項目困難度と受験者能力の図から、今回分析対象となったタスクは受験者の能力の幅とうまく合致していることがわかった
■ 4つの項目においてoverfitが見られたものの、全ての項目が分析対象となった

2. Effects of variables on overall task difficulty
■ タスクにおいて項目困難度に最も大きく影響を与えたと考えられるのが、”Jobs”をTable版にしたことによる項目の易化と”Dogs”をFaster版にしたことによる項目の難化である
■ ロジットによれば、“Jobs”のTable版においては通常版よりも30%正答確率が増加し、”Dogs”のFaster版においては通常版よりも30%正答確率が減少したことが示されている

3. Variations in item difficulty
■ 項目困難度の平均が各項目においても当てはまるかを確認した
■ “Jobs”のTable版は平均として項目困難度が低いことが示されたが、項目4、5及び6においては他の版よりも難しいことが示されている (Figure 1)
■ “Dogs”のFaster版は平均として項目困難度が高いことが示されたが、項目4及び6においては他の版よりも易しいことが示されている (Figure 2)

4. Analysis of individual items
■ 操作した要因によって特定の項目が易化及び難化した理由が明確でないため、個々の項目の特徴を検証していくことにする
■ 今回は、リスニングの項目困難度に影響を及ぼすと考えられるThe necessary information (NI)、The surrounding text、The stemの3つの観点に焦点を当てる
■ この3つの観点が項目困難度に与える影響について、全ての項目において最も難しい項目と最も易しい項目を分析することにする
■ 最も易しい項目は”Dogs”タスクにおける6番目の項目であり、この項目はNI及びsurrounding textが最も遅い速度で読まれる箇所にある
■ また、SAQ以外の版においてはStemも制限されているため正答が容易である (p. 383)
■ 最も難しい項目は”Jobs” タスクにおける10番目の項目であり、この項目は文法的複雑さ、surrounding textにおける語彙重複の不足及び本文とstemを一致させる際の困難度などの点において難しいと考えられる
■ この項目の中でもTable版のみが他の版より困難度が低いが、これはTableに解答する形式は、受験者にテキストのマクロ構造に関する情報を与えるため項目困難度を易化させたものと考えられる (Figure 3)
■ また、項目困難度に影響を与える要因として挙げられた以上の要因は、”Jobs”の8番目の項目における版によって困難度が異なることを説明する。
■ この項目もTable版が他の版よりも困難度が低いが、これは本項目のNIは7番目の項目よりも前に位置し、正答するためにはだいぶ前の情報を保持する必要があるためである。それに対し、Table版では7番目の項目が8番目の項目を解答する際にも役立つため (Table 3)、正答には情報の保持が必要とされない
■ 最後に速度の影響についても、検討を行う。聴解速度について、3Aと3BではGriffiths (1992)が提案した理解の閾値である200words/分よりも遅い速度で行われているが、いくつかの項目については速い版で行われている項目よりも通常の項目の方が、困難度が高かった
■ そこで、それらの項目について2人の会話から構成されるdialogue版を用いて分析してみると、項目に関する情報の発話者はもう一方の発話者よりも発話速度が速かった
■ dialogue版は通常版と形式が大きく異なるのにも関わらず、dialogue版と通常版とで項目困難度の差がわずかでしかないということは、項目困難度は発話速度だけでなく発話速度と形式の組み合わせによって影響を受けることがわかる

�� Discussion
1. Interaction of task components
■ 本研究ではタスクの特徴及び条件がリスニングテストの項目困難度に与える影響を検証しようとしたが、実際は項目困難度に影響を与える要因は複雑に絡み合っていた
■ そのため、あるタスクの項目困難度に影響を与える要因については、特定の要因だけではなく、その要因と他の要因との関係性についても十分に検討される必要がある
■ 例えば、stemが限定されている項目の方が困難度は低いと考えられるが、テキストの長さによっては必ずしも困難度が低いとは限らず (“Jobs” の8番目の項目)、stemとテキストの長さは関係性があると考えられる (Jensen et al., 1997)
2. Methodological issues
■ 本研究の手法上の問題としては、聴解速度の調整が挙げられる。先行研究においても聴解速度が速い及び遅いとする定義が困難であるとされているが、本研究でも全体のwpmが単純に項目困難度を反映しないという結果になった
■ dialogue版と通常版ではdialogue版の方が項目困難度が低いと考えられるが、回答に必要な情報を発言する発話者の発話速度によっては必ずしも困難度が低くない項目もあった
■ これらのことから、改めて聴解速度を含めた項目困難度に影響する要因の関係性を考慮する必要性があったと考えられる

3. Implications for assessment task design
■ CSWEの枠組みでは特定の言語活動から言語能力の測定を行っているが、正答した受験者が必ずしも対応したスキルを使用して、予想されたプロセスを経ているかはわからない。タスクには様々な特徴や条件があるため、特定の問題のみによる受験者能力の推定は妥当性に問題がある
■ この妥当性の問題はテストの信頼性にも関係する。教育現場においては最低限の信頼性が確保されているようなテストを作成する時間があることは少なく、タスクの特徴及び条件を考慮すると信頼性のあるテストの作成は更に困難となる
■ 今後のテストにおいては、より詳細かつ明確なリスニング能力の定義が求められる。つまり、項目困難度に影響を及ぼす要因が複雑に絡み合っている以上、測定の対象となるリスニング能力の特徴についてもどのような能力を測定するのかをはっきりと記述しなくてはならない

�� Conclusions
■ 本研究はタスクの特徴及び条件の変化が、リスニングテストのパフォーマンスにどのような影響を及ぼすかを検証しようとしたものである
■ しかしながら、項目困難度に影響を及ぼす要因は複雑に絡み合っているため、1つの要因だけではタスクの困難度を調整するのは不可能であることがわかった
■ そのため、項目困難度によって示されるやや単純化された難易度の概念では、個々の受験者が各項目においてどのような取り組みを行っているかまでは言及できない (e.g., 本研究)
■ よって、一貫したリスニングテストの作成はかなり難しいが、タスクの特徴及び条件だけではなく、テキスト、タスクそして受験者の様々な要因間の関係性の理解に基づいたリスニングテストが望まれる

＜コメント＞
　本研究はリスニングのタスクが項目困難度に及ぼす影響を、項目応答理論を用いて検証したものである。しかし、本研究の問題点として、項目困難度に及ぼす要因は個別に項目困難度を左右するという前提の下に研究を行っていることがある。その結果、項目困難度は個別の要因ではなくそれぞれの要因が絡み合って構成されるという、ほぼ当然と思われる結果しか得られていない。項目応答理論を用いて項目困難度に影響を及ぼす要因を検証するというコンセプトは興味深いと思われただけに、研究デザインが少し残念に思えた。



2010.06.09（２）

Coniam, D. (2006). Evaluating computer-based and paper-based versions of an English-language listening test. ReCall, 18, 193-211.
（発表者：K.S.）

Abstract (p. 193)
本研究の目的は，コンピュータを利用したテスト（computer-based test，以下CBT）と従来の紙形式のテスト（paper-based test，以下PBT）をリスニングの面から比較し，CBTの効果と信頼性を検証することである。各テストは，香港の中等学校の生徒を対象に行われ，それぞれ生徒の学年の違いを弁別し，CBTの方がPBTより全体的に得点が高い結果となった。またテスト後のインタビューから，男子生徒の方が女子生徒よりもCBTを好む傾向があることもわかった。さらに，２つのテスト形式の相関を調べたところ，学校単位のような限られた範囲で実施するlow-stakes testとしては，十分な数値を示す結果となった。

1. Introduction (pp. 193-195)
■ CBTは，TOEFLRなどで採用され，世界中で広く利用されているテスト形式である。また，ケンブリッジ大学試験機構（UCLES）のCommuniCAT testsのような適応型コンピュータテスト（adaptive computer-based test，以下CAT）は，CBTの一つの種類であり，受験者の能力に合わせた問題が出題される特徴がある。
■ 香港特別行政区では，現地教育委員会の勧めに基づき，コンピュータを利用した評価システムを小学校，中等学校に段階的に導入している。最初の段階では，生徒個人レベルの評価に留まっているが，将来的には学校間の比較などに用いる予定である。従って本研究の目的の一部は，リスニングテストの側面から，このようなコンピュータを利用した評価を検討することである。
■ リスニングテストは，質の高い音声をマテリアルとして準備する必要があり，読解テストよりも複雑な側面がある。このようなことから，CATのリスニング問題開発に関する研究データは，読解や文法問題のテストに比べて数が少ない。
■ 本研究では主に，従来型のPBTとCBTの同等性の問題に焦点を当てる。即ち，Fulcher（1999），Choi et al.（2003）が述べているように，媒体が違うテストを等質にするという点が重要である。
■ CBTは様々な側面から検討する必要がある。例えば，CBTはテスト実施側にとっては楽なテストと言えるが，コンピュータに慣れ親しんでいない受験者などにとってはそうではないかもしれない。また問題形式の面では，多肢選択式であれば答えをクリックするだけであるが，語句をタイプする際はPBTの方を好む受験者もいる（Coniam, 1999）。
■ Fulcher（1999）は，CBT，PBTの２つのテスト形式を等質にするためには，テストの平均点，標準偏差といった基本統計量がほぼ同じになることが重要であると主張している。
■ また，２つのテスト間の相関係数が高いことも重要であり，IELTSのような広い範囲で実施するhigh-stakes testは，相関係数が0.9以上必要である（Jones, Kujiper, & Verschoor, 2001）。

2. Computer-based testing of listening (pp. 195-196)
■ Dunkel（1999）は，適応型リスニングテストの開発では，広範囲のレベルを測定でき，タスクも多岐に渡るように，アイテムを揃える必要があると主張している。
■ CATは，受験者が自分の能力に合った問題を自分のペースで解くことができ，さらにテストアイテムも少なく済む利点がある。その点に関してTung（1986）は，良質のアイテムが100あれば十分と述べている。

3. Listening test development and administration (pp. 196-202)
3.1 Listening constructs
■ Buck（2001）は，リスニングの構成要素を，文法的，談話的，語用論的，社会言語学的能力の面，及びタスクの面から定義している。但し，目標言語の使用状況が複雑かつ広範囲に渡るため，これらを明確に定義することは困難である。
■ そこでBuck（2001）は，リスニング能力を評価する際の「標準的な構成要素」を下記のようにまとめた。
（1）実際の発話と同様に，速い速度の自動的なオンライン活動を通して，リスニングテキストを処理する。
（2）一般的な認知能力ではなく，聞き手の知識を通してリスニングテキストを解釈する。
（3）文字通りの意味だけでなく，そこから推測される意味も適切に処理する。
■ またリスニングテキストは，単文ではなく，談話の処理を行う話し言葉にすべきである。

3.1.1 The Hong Kong Grade 11 public examination syllabus─the Target Language Use perspective
■ 香港の公的試験機関HKEAが発行している第11学年用試験実施要綱では，Buck（2001）の考えに基づいた言語観が反映されている。即ちリスニングテキストは，香港の16歳の生徒が慣れ親しんでいるトピックを中心とし，談話ベースの短い文章か会話文にすること，そして録音の際に，言い淀み，言い間違いなどの話し言葉の特徴を含めること，と記されている。
■ また試験のマテリアルに関しては，目標言語の使用に関するBachman and Palmer（1996）の考え方が採用されている。即ちリスニングのタスクは，10代の目標言語話者の特徴にあったものとし，使用するアイテムの内容は，受験者の持つ知識を活用するように作成されている。
■ アイテムのタイプは４つあり（Table 1参照），それらは，ラジオのニュース，広告，英語母語話者との日常会話など幅広いマテリアルを含んでいる。

3.2 Initial test construction
■ Dunkel（1997）は，適応型リスニングテストの作成は読解テストよりも時間がかかると言及しているが，その意味において，HKEAが使用しているテストアイテムは，大規模なサンプルサイズでの信頼性，弁別性の検証を重ねた「良質」のアイテムと言える。
■ 本研究では，HKEAから提供された504アイテムから，項目応答理論（ラッシュモデルを使用）に基づいて絞り込んだ420のアイテムを使用する（Table 2参照）。
■ また本研究では，UCLESのCommuniCATで使用されている方法を参考にして，受験者に３〜６のアイテムから成るテストレットを与える形式を採用する。
■ なお，項目難易度を示したロジットに基づき，テストアイテムを選択するアルゴリズムについては，本研究の対象外とする。

3.3 Program design and structure
■ 本研究で用いる適応型リスニングテストのプログラムは，low-stakesなものとして使用することを念頭に置き，生徒がインプット情報をリプレイしたり，答えを見直しできるデザインが施されている。
■ 画面には，問題として与えられる画像やテキスト，解答の選択肢が表示され，解答時間を表示するカウンター，音量調節，アイテムのリプレイボタンなども表示される（Figure 1参照）。
■ また本プログラムは，音声ファイルを複数回聞かせたり，アイテム終了後に正解を表示するオプション機能を付加することも可能である。但し本研究では，受験者の熟達度を測る観点から，そのようなカスタマイズを施さないことにする。
■ 本研究において，受験者は２つのテストに取り組む。１つはコンピュータの操作に慣れるための練習用テスト，そして２つ目が本番のテストである。

3.4 Subjects
■ 香港の中等学校２校からそれぞれ第11学年（17歳），12学年（18歳）の比較的低いレベルのクラスを１つずつ選び，合計115人の生徒を実験の対象とした。各クラスは，小学校終了時の到達度テストの結果に基づいて編成され，３段階中２番目の下の方（low Band 2）に位置する。男子60人，女子55人で各クラスの男女比はほぼ同じである。
■ 香港における各学年のレベルを数値化すると，第11学年が80，第12学年が85と示すことができるが（Table 3参照），今回の実験の対象となるクラスはそれよりもやや低くなることが予想される。

3.5 Paper-based test administration
■ アイテムバンク（420のアイテムを集めたもの）から選んだ55のアイテムで構成される，従来型の音声テープを使用した紙形式のテストである。テストの項目難易度は，第11学年，12学年の間となる82.5に設定されている。
■ 受験者には，問題冊子とマークシート解答用紙が渡され，38分の解答時間が与えられる。

3.6 Computer-based test administration
■ PBTの実施から２か月後にCBTを行う。試験開始時の項目難易度は，PBTと同じく82.5に設定されている。各アイテムは６つで１つのテストレットを構成し，テストレットを１つ終えると，受験者のレベルに応じて次のテストレットが選択，表示される。

3.7 Interviews with test takers
■ CBT終了後すぐに，２つの学校で，生徒各６人（男子３人，女子３人）に対してインタビューを行った。
■ インタビューの内容は，英語学習に対する見方，例えば英語はやさしい教科なのか難しい教科なのかという点，またコンピュータにどれだけ接しているかといった点などを確認するものである。

4. Results and discussion (pp. 202-206)
　本セクションでは，２つのテストの結果，及びテスト後のインタビューの詳細を報告する。なお，PBTの信頼性を示すクロンバックのα係数は0.89であった。

4.1 The two tests
■ 今回の実験で使用したPBT，CBTとも同じアイテムバンクを使用しているので，同一の問題にあたる可能性もあるが，その確率は非常に低いと考えられる。またCheng（1993）によると，テスト後３か月経てば，前のテスト結果は受験者の得点にあまり影響しないということが示されている。
■ 従って，同じアイテムバンクの使用により，PBT，CBTの比較結果が歪められることはないと思われる。

4.2 Differences between test takers
■ PBT，CBTの２つのテスト形式とも，第11学年，12学年という学年差を反映した得点結果となった。即ち，それぞれ第12学年の方が平均得点が高く，t検定の結果，その差は有意であった（Table 4参照）。これは，英語に接した年数の差を示したもので，予想できた結果である。
■ PBTとCBTの得点の比較については，CBTの方が全体的に得点が高く，t検定の結果，その差は有意であった（Table 5参照）。またこの結果は，Choi et al.（2003）と同様のものであった。
■ テスト後のインタビューやChoi et al.（2003）が言及した内容から考えると，CBTの方が得点が高い理由として，コンピュータの画面の方が紙の問題冊子よりも見やすいこと，解答時間をカウントするタイマーが付いていることにより，より集中して各アイテムに取り組むことができること，などが挙げられる。

4.3 Test taker rank order on the test types
■ 今回実験を実施した計４クラス，そして全体におけるPBTとCBTの順位相関係数を算出した（Table 6参照）。その結果，順位相関係数は全て有意であったが（p < .01），クラスによってややばらつきが見られた。これはクラスの人数が多少影響している可能性がある。
■ 全体の順位相関係数は0.76で，同じくPBTとCBTの得点の相関を調べたChoi et al.（2003）の結果（0.757）と非常に近い数値であった。
■ 今回算出した順位相関係数は，Jones et al.（2001）が推奨する0.9という数値に届かなかった。但しこれは，high-stakes testを想定した数値である。
■ Fulcher（1999）も，PBTとCBTの相関係数を算出しているが，その数値は0.82であった。これは，プレースメントテストの場合，十分信頼できる数値とされている。従って，本研究における順位相関係数0.76は，その意味において十分なものと言える。
■ また，アイテムのタイプ別に見た分析（Table 7参照）からは，メインポイントを特定するタイプが，一番難易度が高いことがわかった。これは，受験者の処理負担の度合いが高くなるためだと考えられる。
■ 適応型テストでは，受験者の能力に合わせてアイテムが選択されるので，今回のCBTにおいて，メインポイントを特定するアイテムの数が少なくなった可能性が高い。

4.4 Test takers’ observations
■ テスト後に計12人の生徒にインタビューを行ったところ，英語は特に難しいとは思わない，という点で意見が一致していた。またリスニングに関しても，ライティングほどは難しくないという回答であった。
■ コンピュータに関しても，ワープロや表計算などの基本的なソフトウェアの操作ができ，日頃からインターネットも活用しているということで，特に問題は見られなかった。
■ テストストラテジーに関する質問では，PBTにおいて，問題文の先読みやメモの見直しなどのストラテジーを使用したという回答が見られた。
■ PBT，CBTのどちらの形式が簡単であるかという質問に対しては，全員CBTの方が易しく感じたという回答を示した。
■ ２つのテスト形式に対する好みに関しては，男子生徒がCBT，女子生徒がPBTを好む回答結果を見せた。これは，男子が女子に比べて，コンピュータをより楽しく，特別で重要なものと認識した，というLevin and Gordon（1989）の研究結果を反映したものと言える。
■ 一方女子は，メモが取れる，慣れている，先を見て準備できる，等の理由からPBTを好む傾向を示した。
■ また男子の回答の中に，画面が大きく，カラー表示のため，問題が読みやすい，といった意見や，解答時間をカウントするタイマーの利点を述べた意見も見られた。

5. Conclusion (pp. 206-207)
■ PBT，CBTともに，受験者の学年の違いによる能力差を弁別した。またそれぞれの学年において，CBTの方がPBTより得点が高い結果となった。但し，CBTがPBTより簡単に思える理由は，本研究で明らかになっていない。従ってこの点については，今後の研究課題である。
■ 本研究で使用したPBTとCBTの相関関係から，今回のCBTは，学校単位の環境で実施するlow-stakes testとしては十分なものと言えるが，high-stakes testとして使用するには物足りないものと言える。
■ 但し，様々なオプション機能でカスタマイズできるCBTは，low-stakes testに加えて，生徒が自分のリスニング力を伸ばすための自習用教材として活用できる可能性を有している。
■ また，良質のリスニングアイテムを集めたアイテムバンクを活用すれば，問題作成，スクリプトの録音といった自作テストの煩雑な作業を教師が行わずに済むという利点がある。
■ CATの開発には時間がかかるが，教師が作成したアイテムを徐々にデータベースに追加していけば，やがてその開発時間と努力に見合う以上の規模に到達する。

＜コメント＞
本研究は，PBTとCBTの同等性の問題を中心に調べたものであり，今後のコンピュータを利用した評価を検討する上で，興味深い結果を示している。特に，CBTの一種であるCATがPBTよりも得点が高く，受験者にとっても易しく感じられたという点が重要である。本論文では，特定のタイプのアイテム数と難易度に関して，CATとPBTが異なる可能性が言及されているが，これは，受験者の能力に合わせてアイテムが選択されるCATの避けられない一面と言える。
　また今回使用したCATとPBTの相関係数は0.76であったが，この数値は，TOEFLRのようなhigh-stakes testでは不十分と言わざるを得ない。TOEFLRは数年前にCBT（項目応答理論を利用したCAT）を廃止し，iBTに移行したが，本研究の結果から，TOEFLRにおいてもテストの同等性に問題があったと想像できなくもない。従って，今後この辺りを深く調べてみると良いかもしれない。
　なお，テスト形式に対する好みの男女差に関しては，インタビュー対象者の数が少ないことが残念である。本文中の考察は，一見納得できるようなものであり，また授業中のコメントからも，男子学生の方がCBTに馴染みやすいというのは十分理解できるが，もう少し対象者数が多くないと，この男女差に関する議論はあまり意味をなさないと思われる。



2010.06.16（１）

Qian, D.D. (2009). Comparing direct and semi-direct modes for speaking assessment: affective effects on test takers. Language Assessment Quarterly, 6, 113-125.
（発表者：K.M.）　

1. Abstract
■近年、口頭での英語能力試験においてコンピュータを使用する機会が増えている。コンピュータを使用したスピーキングテストには直接的 (direct) な形式の (a) face-to-faceと 半間接的 (semi-direct) な(b) person-to-machine の2種類がある。様々な地域で行われた先行研究から、テスト受験者の受け入れやすいテスト形式が地域によって異なることが示されている。本研究は香港の大学生を対象に行われ、2種類のテストに対する彼らの反応が分析された。その結果、協力者の大部分がテスト形式に対して特別な好みが無いにも関わらず、directなテスト形式をより強く支持することが分かった。

2. Formats for oral proficiency assessment
■多くの国際的な英語能力テストがcomputer-basedなものになりつつある。
・Business Language Testing Service (BULATS)…ケンブリッジ大学が開発したテスト
　　　　・TOEFL … 2005年にInternet based testになり、オンラインでのspeaking testが加わった。
　　・アメリカの小・中学校のテストでコンピュータの使用を取り入れている学校が増えている。
■テストにおけるコンピュータの使用は、協力者がより手軽に、速く、広い地域にわたってテストを受けることを可能にしている。こういった流れからもインターネットを通じたspeaking testのメリットを評価する必要がある。
■スピーキングテストのテスト形式
(1) indirect testing
　受験者の発話能力を間接的に評価するための項目が含まれており(発音を問う問題など)、筆記試験の形で行われる (Labo, 1960)。しかし、正確性、信頼性の点で劣るため今ではほとんど使われていない。
(2) direct testing
　評価者と受験者が直接対話しながら、口頭でのタスクを求める形式。発話能力を測る試験はできる限り、authenticであることが望ましく、対面式によって相互にコミュニケーションが行える点で有効である。1950年代にアメリカのOral Proficiency Interview (OPI)で初めて導入された。
(3) semi-direct testing
　受験者はaudio ,video, textなどのマルチメディアソースから何らかの情報を受け取り、タスクを行うことを求められる。パフォーマンスは媒体に記録され、別の場所にいる評価者によって評価されるため、人件費を抑えることができる。1980年代にアメリカのSimulated Oral Proficiency Interview (SOPI) で初めて用いられた。

3. Literature review
■direct/semi-direct test を比較した先行研究は多くある。テスト結果に基づいてテスト間の妥当性が一致しているかを調べたものでは、検証の結果、2つのテストが同一のスキルを測っていると結論づけている(r = 0.89-0.95) (e.g., Stanfield, 1991; Stanfield & Kenyon, 1992 )。
■他にも異なるテスト形式が談話のパターンやアウトプットにどのように影響するかを分析した研究 (e.g., Shohamy, 1994) や受験者のフィードバックを集め、それぞれのテスト形式の有効性を検証した研究などがある (Luoma,1997; O’Loughlin,1997, 2001)
■多くの研究は受験者がdirect test formatをより好むとしているが、semi-directを好むとしているものもあり、結果が混在している (Table 1)。

4. Purpose of this study
■本研究の目的はdirect / semi-direct に関するテストとしての魅力、対面式の妥当性 、受験者の情意的な側面などを評価することである。RQs は以下の通りである。
RQ1 : direct / semi-directなテスト形式では、どちらが受験者にとって受け入れやすいか？
RQ2 : 特定のテスト形式に対する受験者の好みを決定する原因は何か？
RQ3 : 2種類のテスト形式に対する受験者の反応には、どの程度情意的な面が関わっているか？

5. Method
■実験協力者は香港の大学生186名 (ボランティアで参加)。2つの形式のテスト (direct/ semi-direct test)を受けたのち、テストに対する印象、反応などに関するアンケートに答えた。
■使用したスピーキングテスト
direct testing … International English Language Testing System (IELTS),
11−14分で身近な自然に関する質問に答える (part 1), あるトピックに対して短いプレゼンを
行う (part 2), 試験官と受験者がpart 2のトピックについてディスカッションを行う。

semi-direct testing … Graduate Students’ language Proficiency Assessment-English
(GSLPA) =　香港政府の援助を受けて筆者の大学で開発されたテストであり、40分間で主に仕事に関する内容を問うもの。
Task 1: ラジオのインタビューを聞いて要約・報告する　
Task 2: 仕事に関するインタビューの中で質問に答える
Task 3: 仕事の会議に関する図・文章の情報をプレゼンする
Task 4: 仕事に関連したメッセージを電話に残す
Task 5: 香港での生活について留学生に情報を伝える

Questionnaire
5件法のアンケートで、内容はテストの中身、デザイン、形式、有効性、好みなどについて評価するもの (信頼性は α = .75)。

6. Results & Discussion
■それぞれのテストが自分の会話能力をきちんと測っていると感じたかどうかを評価するアンケート項目への回答をテストごとに比較した (Table 2)。その結果、73%の受験者がIELTSのテストに対して賛成していたのに対し、GSLPAへの賛成は49.5%に留まった。
■統計的にt-testとウィルコクスンの順位和検定を行った結果、2テスト間に対する「賛成」の反応には有意差があった(p = .00)。
■さらに、回答をパターンによって(a) IELTSのみを支持、 (b) GSLPAのみを支持、(c) 両方を支持、(d) 両方支持しない、(e) どちらでもない、に分類しなおした (Table 4)。
■(a) IELTSのみを支持する意見は32%だったのに対し、(b) GSLPAは9.7%であった。このことから、受験者はsemi-directなテスト形式よりもdirect な形式を支持していることが分かる。
しかし、(c) 両方を支持が40.9% であることから多くの受験者は両方の形式に対して好意的であること、また(d)どちらも支持しない受験者も16.7 % いることは注意しなければならない。
■また、(c)(d)(e)を合わせると57.6%の受験者が特にテスト形式に対して好みを示していない。
■まとめると、大部分の受験者は特にテスト形式に対して特別な好みを示さず、両方を受け入れていた。残りの受験者はdirect testingの形式をより好むことが分かった。これは先行研究 (McNamara,1987; Shohamy et al.,1993; Stanfield et al., 1990) の結果を部分的に支持するものである。
■どちらかを支持した受験者に理由を回答してもらったコメント (p.121-122)を質的に分析したところ、それぞれのテスト形式に関して「安心して受けられた」「リラックスできた」「コンピュータ式は壁と話しているみたいで嫌だったのに対し、対面式は生きた人間との会話だったので良かった」など情意的な要因がテスト形式の好みに影響していることが分かった。
■またこれに関連して、対面式のdirect testing はノンバーバルな表現なども含めた実生活での発話に近いため、受け入れやすいと感じる傾向が見られた。このことから、今後はsemi-direct testing においても相互にコミュニケーションを行えるような要素を取り入れたテストに改良されていくのが望ましいと考えられる。

コメント
本研究で扱っている2種類のスピーキングテストの形式には、それぞれがメリット・デメリットを持っていることが分かった。direct testing はより現実に近い形での発話を行うことができ、会話相手との相互コミュニケーション能力を測るのに適していると考えられるが、このテスト形式には専門的知識を持った評価者が多く必要である。評価者が増えるほど、評価者間での基準が一致しないというリスクが増えるため、評価基準を厳密なものにする必要性が高まる。一方、semi-direct testingは評価者が別の場所に居ても評価を行うことができ、人件費を削減できたり、受験生にとっても手軽に受けることができて利便性の面で優れている。しかし、本研究の結果からも明らかなように、人によっては機械的なテスト形式が合わないと感じる受験者も多いようである。将来的に主流になってくると思われるsemi-direct testを改良していく上でも、協力者のバックグランドやタスクなどをきっちり統制した実験が必要であると感じた。



2010.06.16（２）

Munoz, A. P., & Alvarez, M. E. (2010). Washback of an oral assessment system in the EFL classroom. Language Testing, 27, 33-49.
（発表者：N.I.）　

本研究では、EFLにおける発話能力の評価システム（Oral assessment system）が持つ指導や学習への影響（＝Washback）を調査した。

・これまで多くのWashback研究が行われてきたが、その多くは規格的なテストに関するものであり、実際に教室で評価を行うためのテストのWashbackとは区別される必要がある。規格的なテストに比べて教室で使われるようなテストではあまり結果が出ないと言われてはきたものの、全てのテストには教育を変化させる可能性がある。
・したがって本研究では、コロンビア（南アメリカ）の私立大学における教室ベースの評価システム‘Oral Assessment System (以下OAS)’の指導へのWashbackについて検討する。

・OASの構成：
(1) 伝達能力、発音、文法、語彙、タスクの完了の５つの観点から、それぞれ5段階の尺度によって評価が行われる。それぞれの熟達度段階毎のパフォーマンスについて詳細に記されている （※記載なし）
(2) それぞれのコースごとの発話能力の基準
(3) それぞれのコースによって推奨される、評価のためのタスク
(4) 教師のための評価シート（評価のためのタスクと成績を記録するためのもの）
(5) 学期半ば、及び学期末に生徒が受け取る成績表
(6) ‘Oral Assessment Guidelines’：言語センターで使用される評価項目や手順が明記されている

・OASの原則（評価は以下を通して行われるべきとされる）
1. 教師、生徒にとって理解可能な、明確で詳しい評価項目
2. 様々な学習スタイルを目指した異なるタスク活動
3. 真正性があり、内容の意味が深いタスク
4. 生徒・教師間のやり取りを引き出すための異なるグルーピング・テクニック
5. 自己評価の推奨
6. （指導上の実践と一貫している）カリキュラムの目標に由来するタスク
7. 生徒が自身の知識や能力を発揮できるような、継続的な評価
8. 発話能力の様々な異なる側面の評価（そのうち、文法は伝達能力の多くの側面のうちの一つ）
9. 詳細で具体的なフィードバック

⇒これらの原則には、近年のコミュニカティヴ言語テストの理論が反映されている。

・OASは、極力特定の学習環境との距離を保とうと努める大規模テストと異なり、カリキュラムとの整合性を持っている。特にOASは指導と深く関連しているため、教師はテストの内容に注意を向け、カリキュラムの内容を追求することが可能となる。

⇒本研究はOASの発展において下地となってきたいくつかの方針に焦点を当て、有益なWashbackを生み出すことを目的とする。

LITERATURE REVIEW
・Washbackには様々な定義が存在するが、本研究では広義に「効果」という意味で使用する。
・大規模テストでの研究によれば、Washbackは内容には効果的であるものの、教師の指導法にはあまり効果がないことが言われる。(Cheng, 1997; Qi, 2004; Alderson, 1993; Burrows, 2004)
・また、評価が持つ学習への効果を扱う研究では、Washbackについて明確な理解がされていない場合が多い。テストの効果についての肯定的／否定的態度を調査した研究はいくつかあるものの、テストによって実際にどのような学習的効果が得られたのかはっきりと書かれているものは少ない。
・これらの研究から、ただ試験を行うだけで有意な違いがもたらされるとは考えにくい。したがって、試験の下地である多くの要素を考慮にいれる必要があることがわかる?試験に関する教師の理解不足や抵抗感、試験内容など（Wall, 1996）
・また、Washbackの効果を妨げないために多くのELT研究者が勧めているのが：カリキュラムと試験との間の整合性、タスクの真正性、詳細にわたる得点報告、教師と生徒双方による評価尺度の深い理解、学習者の自己評価、を確保することである（Bailey, 1996; Eisemon, 1990; Hughes, 1989; Messick, 1996; Shohamy, 1992）。
　また、フィードバックの意義やテスト形式の多様性、指導・学習の強力な方法としてのタスクについて言及する研究もある。

⇒ 評価と言語発達の関連性を立証する研究が求められる。加えてそれは、生徒の学習の程度への教室評価の効果に関するものである必要がある。

RESEARCH QUESTIONS
(1) OASの発展基盤となってきた方針のうちのいくつかは、効果的なWashbackをもたらすか？
(2) 受験者は、効果的なWashbackが存在すると感じているか？
(3) OASに参加した学習者（実験群）は、そうでない学習者（統制群）と比較して向上が見られたか？

METHODS
本研究は以下の考えに基づいて行われた。

◆指導に関して
・カリキュラムの目標とタスクの間の整合性：教師が目的を特定し、それに向けた活動を行える能力を調査した。教師が生徒に学習の目的を意識させることで、生徒は特定の目的に向かって努力することができる。複数の研究においても、パフォーマンスが良い生徒は教師が教えようとしていることが何かを把握しているという結果が出ている（Amigues & Guinard-Andreucci, 1981ほか）。

・評価タスクの種類とタスクデザイン：複数のタスクを使用することが学習に役立つ事は、広く認識されていることである。また、評価の信頼性を高め、生徒が保持している知識を表現する機会を増やすことにつながる。
有益なWashbackのためには評価と教育的目標のつながりが作られること、つまり生徒が評価の形式に慣れることが必要である。（Bailey, 1996; Messick, 1996）したがって教師は生徒に、タスクを行うために何をどうやって行うのかを段階的・正確に伝える必要がある。

・詳細で具体的なフィードバック：フィードバックが学習に効果を持つためには単なる成績評価だけではなく、長所と短所について具体的に説明されることが必要である（Black & William, 1998）。このような具体的な情報によって、短所については向上できるように／長所は保持できるように、生徒に対して動機づけることが可能となる。

◆学習に関して
・評価基準の理解：評価に慣れることで学習の方向性を確立でき、また自分の学習への反省、評価を考慮してより良いパフォーマンスのために努力すること、そして自己評価が可能となる。
　Washbackを完全に有益にするためには、「テストの基準、その詳細、見本がテストの準備に関わるすべての者の為に用意されていることが必要」（Hughes, 1989）

・学習者の自己評価：自己評価は内的基準を発達させ、学習者の自律的学習を助ける。自律的学習では、責任の所在が学習者自身により重く置かれることとなり、マテリアルの処理を促進することが可能と考えられるため、これが効果的なWashbackに関わっている。

◆調査計画

・協力者：EFL教師14名（言語センターで3年以上教えてきた英語非母語話者）
EFL大学生110名（初心者〜熟達者）
・15か月、15コースにわたる成人学習者の英語プログラムで行われた。

統制群…教師：7名　（生徒：55名)
評価は大部分が教師自身に任されていた。言語センターによって決められた基準に従い、だれがいつ何をどうやって評価するか、を決定した。

実験群…教師：7名　（生徒：55名）
教師は評価基準表と自己評価の方法に関する追加トレーニングを受け、またより適切な評価を行うための定期的な会議に出席した。

・データ収集（調査方法）：
生徒へのアンケート…潜在的なWashbackの効果を調査。
�ー�業目標の認識、�△修譴蕕�評価・指導と整合性があるかどうかについて、�Ｉ床船織好�の形式、�ど床全霆爐班床措蟒腓稜Ъ院↓ゼ�己評価の実践、�Χ技佞�らのフィードバックの形式、�Ц生貪�発達の認識。　
教師へのアンケート…
�ー�業目標の特定化について、��評価タスクの形式、�Ｉ床舛肇侫�ードバックの手順、�ぜ�己評価への生徒の参加について、��OASの指導を始めたことによって生徒の発話能力、また指導方法に変化はみられたか。

授業観察…
言語センターの2名のコーディネーターが授業観察（統制群：25回／実験群：29回）を行い、�ー�業目標の特定化、��評価の種類とタスクの種類、��フィードバックの手順、�ぜ�己評価が行われているかどうか、について調査を行った。

外部評価…
　　トレーニングを受けた外部の評価者によって、実際に得点の向上が見られたかどうかが調査された（評価数…統制群：255、実験群：299）。
評価内容は次の通り：(1)名前、年齢、家族、趣味について話す (2)面接官と会話し、質問をしたり、合意に達したりする (3)絵や写真の説明を行う。

・分析：
　統制群、実験群間で、アンケート項目それぞれに対してカイ二乗検定を行って比較した。
　教師の意見に関しては記述統計、授業観察に関しては絶対的・相対的頻度が算出された。
外部評価…２グループ間の平均値から一元配置分散分析が行われた。

RESULTS
◆指導に関して（カリキュラムの目標の特定／目標・タスク間の整合性）
　
目標の特定：グループ間に有意差あり（χ2 = 27.64, p < .05）
[ 統制群 ] 目標を特定化せず、タスクについてのみ特定化した教師…24％
目標もタスクも特定化しなかった教師…76％
[ 実験群 ] 目標を板書・口頭で特定化していた教師…86.2％
特定化しなかった教師…13.8％

目標・タスク間の整合性：グループ間に有意差あり（χ2 = 20.49, p < .05）
[ 統制群 ] 14.81% 　 [ 実験群 ] 63%

指導に使われたタスク、評価タスクの間の整合性：グループ間に有意差あり（χ2 =8.76, p < .05）
[ 統制群 ] 完全に異なるもの:47.8% ／ 類似したもの: 35.8%
[ 実験群 ] 関連していないもの: 39% ／ 類似したもの: 56.1% ／同一のもの: 4.9%
・また、指導で既に使用したタスクを評価で使う割合も、実験群の方が有意に高い結果。

◆評価タスクとタスクのデザイン
・統制群のタスクは「意味のあるコミュニケーションの状況」への考慮はなされず、また実験群のよう
　に手順を踏んだタスクのデザインは行われていなかった。

◆フィードバックの手順：グループ間に有意差あり（χ2 = 59.21, p < .05）
[ 統制群 ] 包括的評価の傾向 　　　　 [ 実験群 ] スピーキング能力の各側面に応じた評価
・実験群の教師は、OAS導入による効果として�＼古未糧�話能力の向上、�⊆�業計画、��スピーキング評価の計画、の3点を挙げた。また、評価基準表によって正確に測定することができたことや、授業の目標を生徒と共有しようと考えることになったこと、が挙げられた。

◆学習に関して

評価基準の理解：実験群の生徒には評価基準がより理解されていた結果（χ2 = 13.26, p < .05）

学習者の自己評価：評価基準表を自己評価に使用する割合にグループ間で有意差（χ2 = 31.71, p < .05）
[ 統制群 ] 34.5％ 　　 [ 実験群 ] 73.2％

成績の向上（p.42のTable 1 参照）：
一元配置分散分析…実験群が有意に高い結果（t = 2.54, p = .006）※t検定？

・Table 3 (p.43)…評価項目によるグループ間の違い
　伝達能力、文法、発音において実験群の方が有意に高い結果（p < .05）
　語彙、タスクの遂行に関しては有意差なし。
　また生徒のアンケート結果から、伝達能力・発音については実験群で有意に高く向上が感じられていた（p <.05）

DISCUSSION
・授業における目標の設定が２グループ間で違った? 統制群における教師の「活動内容」と「目標」の混同、また目標設定に関する知識の欠如が考えられる
・統制群：活動内容が授業内容と関連していないものが見られた?生徒が学習の方向性を見通すことができなくなる
・指導されたタスクと評価タスクの不一致（統制群）? 教師の計画の不十分さ、もしくは生徒が成功しやすいと思われる評価タスクを敢えて選んだ可能性がある
・フィードバックの手順へのWashbackの効果ははっきりと明らかにはされなかったものの、実験群と統制群の成績の間には差が見られた（包括的／分析的評価）
・全体的に、実験群の生徒は評価基準・評価手順についてよく理解していたと言える ?考えられる理由として、授業内で指導・評価の際に、教師が言語の各側面について強調していたこと／コミュニケーションにおけるこれら側面の重要性を生徒が認識していたこと／評価基準表を用いることによって言語の各側面を測定する能力が向上したこと、がある
・統制群では自己評価に評価表があまり使われていなかった? 実験群の教師が、自己評価に評価表を使うよう指導していたため
・実験群の成績は統制群より有意に高かった? 各評価項目の分析から、言語的側面だけではなく全体的なコミュニケーション能力の観点で評価が行われたためである可能性、また目標を明確に提示していたためである可能性が考えられる
・実験群の教師は全員OASに肯定的なWashbackを見出していた

LIMITATIONS
・結果の一般化が難しい? 評価手順への教師の自信が効果的な指導につながったのか、言語センターが指導した内容そのものによって効果が現れたのかがわからない（教師の考えは指導内容とは強く関連が見られるが、教師の考えが必ずしもOASの指導内容と一致しているとは限らない）
・したがって、評価手順を改善することだけで変化をもたらそうとすることは不十分かもしれない
　⇒ 教師が指導に関してどのような考えを持っているかを理解する必要がある
・結果が、生徒と教師それぞれの自己評価に依存していることが考慮される必要がある

CONCLUSION
・指導、学習の様々な側面においてWashbackが起こっていたことが推測される。特に、教師に対する評価トレーニングの貢献が見られた。したがって、評価システムを導入したとしても、教師に対する評価トレーニングを中止してしまった場合は効果が見られないことも考えられる。
・また、教師が指導に対して持つ考えと組織・機関の方針との違いについて検討する必要がある。
・Washbackは以下の要因から促進されると言える
　（１）生徒に評価手順・基準を伝え、目標を特定化し、評価タスクを計画すること
（２）教師・生徒の双方が教育目標と評価の関係を明確にすること
（３）自己評価の使用（生徒自身が評価を行えるため）

・また、Washbackが起こるかどうかでカリキュラムへの示唆が得られる。

コメント
・Washbackの観点から評価システムを検討していた視点が新しく、興味深かった。ただ、今回の論文ではOASというシステム導入の中で具体的にどの要素がWashbackを導いていたのかを見極めることはできず、Washback研究の難しさを感じた。
・授業でのディスカッションで、（調査のための）外部評価が複数回であればそちらからのWashbackも考慮する必要があるという意見があった。今回は外部評価が統制群・実験群の両方で行われていたため、デザイン上問題があったとも考えられる。



2010.06.23（１）

Justice, L. M., Bowles, R. P., Pence, K., & Gosse, C. (2010). A scalable tool for assessing children’s language abilities within a narrative context: The NAP (Narrative Assessment Protocol). Early Childhood Research Quarterly, 25 , 218?234.
（発表者：S.N.）　

0. Introduction
■ 子どもの言語能力はその後の読解スキルや学術的能力の予測変数となるため、子どもの言語能力を談話レベルで、より自然な文脈で測定する信頼性・妥当性ともに高い方法の開発、使用への関心が高まっている。
■ そのような方法に物語の使用を通して子どもの言語能力を評価するNarrative Assessment Protocol (NAP) がある。NAPは文字の無い絵本を用いて子どもに物語を口頭で作成させ、その内容をコーディングして得点化するものである。コーディングには、文構成、句構成、及び修飾、名詞、動詞の使用の観点が含まれる。
■ 典型的に、物語はmacrostructure, microstructureの2つの観点から評価される。前者の評価は子どもの因果ネットワーク、スクリプト、物語文法の理解を含み、後者の評価は文や語の数、接続語のような結束性、全体的な文法の複雑さを含む。NPAはmicrostructureの評価に適しているという特徴がある。
■ 先行研究では、物語を使った就学前の子供の言語評価方法はその後の言語能力を予測したことが報告されている (Pankratz, Plante, Vance, & Insalaco, 2007)。
■ 物語を使った言語評価は再話タスクなどを用いて現在行われているが、就学前の子どもが産出した発話をコーディングするには時間や労力、特別な訓練を要する。
■ NAPはこの問題点を解決するために作成され、大人数を対象として実施できるように (= scalability) 以下の3つの特徴を持っている。
(1) 子どもの発話を聞きながら採点でき、transcriptionを必要としない
(2) 時間が20分以下で行える (8 min to collect the narrative and about 10 min to score it later from video)。
(3) 特別なマテリアルやテスト形式を必要とせず、費用の面でも効率的である (self-study materialはネット上で利用可能)。
■ この研究の目的は、物語の文脈の中で就学前の子供の言語能力を評価する方法としてのNAPの有用性を示すことである。特に、その信頼性と妥当性を決定する。まず、NAPの得点が異なる評価者間・コーディングの方法間で変化するかを検証する。そして、異なる時期に収集されたNAPのデータの因子構造・因子不変性を検証する。

1. Method
1.1 Participants
■ 生後40ヶ月~66ヶ月の子ども339人 (分析対象は262人)
■ 男子51%、女子49%。人種は様々。

1.2 General Procedures
■ 実験は秋と春の2回行われた。
■ 用いられる評価方法は Clinical evaluation of language fundamentals preschool, second edition (CELF Preschol-2) と子どもによって発話された物語の評価の2つである。

1.2.1 CELF preschool-2
■ CELF preschool-2は3-6歳のこどもの言語能力を特定・診断・評価するために用いられる集団基準準拠型テストである。
■ 文構造、語構造、表現に用いる語彙の3つの評価項目を持つ。
■ このテストは内在的一貫性、再テスト法による信頼性、妥当性が高いことがWiig, Secord, and Semel (2004) で示されている。

1.2.2 Spoken fictional narrative
■ Frog Where Are You? という絵本が用いられた (wordless)。
■ この絵本で描かれている話は、はっきりとしたエピソード構造 (plan, goal, attempts, consequences) と多くの物語文法の要素を持つ。
■ 子どもに発話される物語を促すために、この本を使って物語を作ってもらうこと絵本を見る前に子どもたちに伝えられる。

1.3 Narrative Assessment Protocol (NAP)
■ 子どもによって発話された物語はNAPの手順に従いコーディングされる。1つの物語のコーディングにかかる時間はおよそ10分である。
■ 本実験のコーディングはRAによって行われるが、彼らは以下のような訓練を受け、信頼性の高い評価者となっている。
(1) 節、句、文のタイプなどについて基礎的な知識を得るための講義を受ける。
(2) 実際のNAPの得点を参照しながら、子どもによって発話された物語のサンプルを聞く。
(3) 実際に子どもによって発話された物語を得点化する練習を行う。
(4) 決められた基準まで信頼性のある評価を行うことができるようになるまで、物語の得点化を続ける。
■ コーディングは18項目から成る5つの指標をもとに行われる。5つの指標は文構造 (4 items)、句構造 (3 items)、修飾 (2 items)、名詞 (3 items)、動詞 (6 items) である。それぞれの項目についてその出現回数が0, 1, 2, 3以上の4つで記録されるが、修飾・名詞・動詞に関しては特筆すべき使用の時のみ数えられ、文構造・句構造は全ての使用が数えられる。
■ NAPの全ての項目についての合計得点は54であり、その得点の信頼性はα = .84であった。

2. Results
2.1 Reliability of the NAP
■ ここでは前述の通り、NAPが異なる評価者間・コーディングの方法 (ビデオ vs. トランスクリプト) の間で高い信頼性が得られるかを検証する。

2.1.1 Inter-rater reliability
■ 評価者間信頼性は秋に収集されたデータの中からランダムに抽出された33の物語 (12%) を使って検証された。
■ 18の項目それぞれについて評価者間の一致度が出され、それらは82% (adverb) ~ 100% (pluralized nounなど) で、平均は93%であった。
→　この一致度の結果は、NAPが訓練された2人の評価者によって信頼性を保ったまま適用され得ることを示している。

2.1.2 Reliability of online and offline coding
■ NAPは、トランスクリプトからでなく、ビデオや音声から得点可能なようにデザインされている。そのため、これら2つの得点が同等のものであれば、NAPはオンラインの採点 (ビデオを用いた採点) でもオフラインのそれ (トランスクリプトを用いた採点) と同様の信頼性が得られることになる。
■ これら2つの得点の比較は秋に収集されたデータの中からランダムに抽出された31の物語 (12%) を使って検証された。
■ トランスクリプトはSystematic Analysis of Language Transcripts, Research Version 9 software を用いて、2人の評価者によって作成された。
■ t検定の結果、オンライン採点方法とオフライン採点方法では、NAPの合計得点に有意な差は見られなかった。項目別でもほぼ有意差はなかったが、修飾ではオンライン採点の得点が有意に高かった。
■ NAPの各項目の得点と合計に関してオンライン・オフラインの得点の相関を検証したところ、修飾以外は有意な相関が得られた (各相関係数は省略)。この結果は、修飾を除いては、NAPはオンライン採点でもオフライン採点と同等の得点が得られることを示している。

2.2 Validity
2.2.1 Construct validity
■ 本研究では、妥当性について構成概念妥当性と基準関連妥当性の2つを検証する。
■ NAPの18項目について探索的因子分析を行ったところ、スクリープロット・固有値に基づいて単因子構造が得られた。2回目以降の分析で因子負荷量が4以下であった6つの項目を削除し、12項目からなるNAPのShort Formを作成した。秋に収集したデータの得点についてLong FromとShort Formの相関を検証したところ、有意に高い相関が得られた (r = .99)。このことから、以降の分析はこのShort Formについて行われた。
■ 秋と春に収集されたデータの得点について因子不変性を検証した結果、弱い因子不変性については不適合が有意ではなく、強い因子不変性については有意であったもののRMSEA = .055であった。このことから、秋と春でNAPは構成的な安定さを示し、高い構成概念妥当性を有しているといえる。
※ RMSEA = root mean square error of approximation：平均二乗誤差平方根
■ また、秋と春の両データの信頼性を求めたところ、α = .84, .83であったことから、NAPは高い一貫性を保持しているといえる。

2.3 Criterion-related validity
■ 基準関連妥当性については、秋に収集されたNAPのデータとCELF Preschool-2の得点の関連 (同時的関連)、秋のNAPのデータと春のCELF Preschool-2の得点の予測的関連 (縦断的関連) を検証する。
■ 秋のNAPの得点はLong, Short From両方で秋のCELFの得点と有意に中程度の相関を示し (r = .35, 34)、春のCELFの得点とも有意に高い相関を示した (r = .43, 44)。先行研究では同時的相関の値は.12-.36, 縦断的相関は.30-.39が報告されていることからも、本研究の結果は、NAPは標準化された言語テストと同時的・縦断的に関連があるといえる。

2.4 Explanatory analyses of the diagnostic potential of NAP
■ NAPが診断的な要素を持っているかを検証するため、基準準拠型テスト (CELF Preschool 2) の得点が低い群 (< −1 SD; 54%) と平均の群 (> −1 SD; 46%) の秋のNAPの合計得点を比較したところ、下位群のNAPの得点は平均の群の得点よりも有意に低かった。
■ また、特別支援が必要とされた子ども (n = 37) とそうではない子ども (n = 224) のNAP合計得点の比較でも、前者が後者よりも有意に低かった。

3. Discussion
■ NAPはトランスクリプト化の必要性を無くすためにデザインされ、そのためNAPは物語を用いた言語評価をより実行可能なものにする評価方法である。ここでは、適切な指導計画を立てるために子どもの言語能力を評価する診断的な方法と、子どもの言語スキルがどの程度改善されたかを決定する総括的な方法の2つの使用法が考えられる。
■ オンライン・オフラインのコーディング方法は高い信頼性を示したが、その違いは修飾に見られた。この理由としては、修飾は子どもによって発話された物語にはあまり見られなかったため (5%)、ビデオを用いた評価者が修飾語句の使用を特定しにくく、トランスクリプトを用いた評価者のほうがその特定が容易であったと考えられる。同様に、評価者訓練期間に用いたマテリアルが修飾語句の使用を評価する機会をあまり与えなかったために、評価者が修飾語句の使用を特定する準備が不十分であったことも原因となり得る。
■ しかしながら、本研究はNAPの評価にトランスクリプトの必要性が無く、特別な機器や評価者を要さないことを示した点で重要である。
■ 本研究のもう1つの目的は、NAPの妥当性を示すことである。因子分析の結果から、NAPの得点は実施時期が異なっていても安定しており、構成概念妥当性を有していることが示された。
■ また、基準関連妥当性については、NAPはCELF Preschool 2と同時的関連、縦断的関連があった。このことから、NAPは子どもの言語能力全般を評価し、診断的な評価方法としても用いることが可能である。
■ 本研究にはいくつかの限界点がある。1つは、本実験の対象であった子どもは全て1つの州に居住していたため、結果は異なる文化的背景を持つ子どもやESLの子どもに対しては一般化できない点である。
■ 2つ目は、本実験のコーディングを行った者は全て大学生もしくは大学院生であり、その言語的知識や能力に差があったことである。
■ 3つ目は、本研究ではNAPの診断的正確さを検証していない点である。本研究の結果からは、NAPの得点が著しく低い子どもは、将来どの程度言語能力や読解能力に不安があるのかが分からない。
■ 最後は、NAPは子どもによって発話された物語の特徴を評価しているだけであり、物語を用いた子どもの言語発達の一側面しか評価していない点である。NAPでは、物語のマクロ構造である物語文法やミクロ構造でも語彙的・文法的な一貫性などは評価されていない。よって、これらの側面を評価する測定法とともにNAPが用いられれば、子どもの言語能力を自然な文脈で評価するより有効な方法となる。

4. Comments in Class and Little Research
■ 果たして就学前の児童が、評価に十分なだけの物語を発話することは現実的に可能なのであろうか。
→　Sさんが現在行っている研究は英語母語話者の児童を対象に行っているが、単語レベルでの発話や親の言ったことの繰り返し程度の発話しか見られない。
→　それは会話 (interaction) の中で見ているからであって、NAPのようなmonologue形式で行うと発話は促されるのかもしれない。

　↓

そこで、今回の論文の著者らの研究チームのHPで公開されている実際のNAPの音声 (子どもによって発話された物語)、トランスクリプト、得点表のサンプルファイルを検証することで、このような疑問の解決を試みた。それらの検証から、以下2つの考察を記す。

<発話される物語は個人差が大きい>
教室内でのコメントについて、結論から言えば、子どもによって発話される物語というのは個人差が大きいと言える。ある子どもでは、絵に描かれた状況を的確に描写し、物語の構成にまで意識が向いているような発話が見られた。試験管も多少相槌をうつ程度で、子どもが自ら積極的に発話を行っていた。教室内で述べられたような懸念は、このような子どもには当てはまらない。しかしながらその一方で、別の子どもにおいてはほとんど発話が行われず、発話されたとしても文ではなく単語のみであった。試験管もしきりに発話を促すための介入 (e.g., What’s happening now in this picture?) を行っていた。今回のサンプルファイルでは子どもの言語能力に関する情報はなかったので、そのような発話の少ない子どもが今回の研究の協力者に含まれていた「特別支援を要する子ども」に当たるかは断定できない。そのため、子どもの発話の違いが、果たして言語能力の違いのみによってもたらされているのかが疑問である。つまり、子どもの性格・情緒的な要因によっても発話される物語の量や質に影響が出てしまうのではないか。発話が多かった子どもでは、時折試験管に自ら相槌を求めたり、笑いの場面を共有しようとしていたりしていたことから、そのような外向的な性格が自然と発話を促していた可能性が考えられる。今回のような就学前の子どもを対象にした研究において、子どもの性格・情緒的な要因は十分に考慮される必要があるかもしれない。

<物語構造評価の可能性>
NAPは物語のmicrostructureの評価に適していると論文中では述べられており、実際にNAPの評価項目は文や句の構造から構成されている。また、実際にNAPの音声を聞いてみると、確かに子どもは物語を作ることを意識しているというよりは、単に1枚1枚の絵を描写している場合が多い。これは、子どもは物語における登場人物の目標に対する敏感性が低く、登場人物の目標を物語全体の一貫した理解に利用する認知的な能力が限られている (van den Broek, Lorch, & Thurlow, 1996) ことと関連しているのかもしれない。これらのことから考えると、NAPを用いて就学前の子どもを対象に、物語の構造や大局的一貫性を観点とした評価を行うことは難しいだろう。しかしながら、認知的に発達した大人が対象であればそれらを観点とした評価は行える可能性が高くなる。もしそのような観点を評価に含めることができれば、言語能力評価方法としてより妥当性が増すのではないか。この点から、NAPのEFL学習者への応用可能性が考えられる。

参考文献
van den Broek, P., Lorch, E. P., & Thurlow, R. (1996). Children’s and adults’ memory for television stories: The role of causal factors, story-grammar categories, and hierarchical level. Child Development, 67, 3010-3028.



2010.06.23（２）

In’nami, Y., & Koizumi, R. (2009). A meta-analysis of test format effects on reading and listening test performance: Focus on multiple-choice and open-ended formats. Language Testing, 26, 219-244.
（発表者：Y. H.）

■概要
・テスト形式の効果（test format effects）を検証するため、メタ分析（a meta-analysis）を行った。
→L1読解（L1 reading）、L2読解（L2 reading）、L2聴解（L2 listening）の得点に対して、
→多肢選択形式（multiple-choice formats）と自由記述形式（open-ended formats）を比較した。
・分析の結果、次のことが明らかになった。
　　→L1読解テストでは、テスト形式の影響は「小さな効果〜大きな効果」という程度であった。
　　→L2読解テストでは、テスト形式の影響は見られなかった。
　　→L2聴解テストでは、テスト形式の影響は「中程度の効果〜大きな効果」という程度であった。
・L2読解においてテスト形式の効果が現れるのは、次の4つの条件のいずれかを含む場合であった。
　　→被験者間要因の実験計画（between-subjects designs）
　　→実験条件へのランダムな割り当て（無作為割り付け：random assignment）
　　→テスト間で共通の設問文・共通の解答（平行な設問：stem-equivalent items）
　　→熟達度の高い学習者（a high L2 proficiency level）

1 Literature review
1.1 Format effects
■言語テストにおけるさまざまなテスト形式：
　　・クローズテスト（cloze）　・cテスト（c-test） ※一語おきに空欄、削除語の前半部を残す
・空所補充（gap-filling）　・結びつけ選択式（matching）　・多肢選択式（multiple-choice）
　　・自由記述式（open-ended）　・要約内空所補充（summary gap-filling）
■研究者は、テスト形式の特徴を知った上で、テストの目的に沿った方法を選ぶべきである。
■多肢選択形式とは：問題文と3つ以上の選択肢を提示し、正しい選択肢を選ばせる問題形式。
■自由記述形式とは：質問を提示し、いくつかの語句を用いて自分で答えを作らせる問題形式。
※図表：多肢選択形式と自由記述形式の例（省略）

■平行な設問とは：2つのテスト形式を比べて、両者の正答がほぼ一致し、設問にも共通性があること。
■量的観点の2つの論点：
　　�‖浸菫�択形式と自由記述形式のテストでは、測定されるものがどのように異なるか？
　　��多肢選択形式と自由記述形式のテストでは、得点にどのような差があるか？
　　→前者はRodriguez（2003）が調査しているが、後者については十分明らかになっていない。

1.2 Research synthesis approach
■先行研究のアプローチ手法：テスト形式が得点に与える影響をまとめる際、「ナラティブ・アプローチ」（narrative approach）が用いられてきた。（※narrative = 「筆者による地の文」）
■ナラティブ・アプローチの弱点：
　　�ゝ甸兩�と追証可能性に欠ける
　　→調査者によって、同様のデータに対して異なる結論を導くことがある。
　　�▲如璽燭虜栃�析・再解釈がない
　　→多くの調査者が、各研究で報告されている値をそのまま用いている。
　　��先行研究に含まれるすべての情報をまとめることは難しい
　　→それぞれの研究が異なる要因を扱っており、多くの研究を扱うのは大変である。
■メタ分析の利点：複数の研究から得られた実験的データをまとめて分析するので、
　　・分析方法を明示することで追証可能性が得られる。→��
　　・それぞれの実験の特性（含まれる要因など）を考慮して再分析の結果を提示できる。→�↓�

■本研究の検証課題：
・多肢選択形式と自由記述形式では、どちらが難易度が低いのか？また、その程度はどのくらいか？
・テスト形式の効果に関係する変数はあるか？

2 Method
2.1 Data collection
2.1a Data identification
■メタ分析の対象となる実験データ：以下の3通りのアプローチで収集された。
　　�．灰鵐團紂璽燭鰺僂い晋〆�（※検索方法の詳細情報あり）
　　��言語テスト・第一言語獲得・第二言語習得・教育測定に関する文献調査（※文献の詳細情報あり）
　　�Ｂ召慮Φ羲圓�らの情報収集
■上記の手順により、約10000件の研究が分析対象候補として収集された。

2.1b Criteria for the inclusion of a study
■第一の選定基準：以下の基準により、分析対象候補を約10000件から237件に絞った。
　　�‖浸菫�択形式と自由記述形式を扱った研究であること
　　��研究テーマが、L1またはL2の、読解または聴解にあること
■第二の選定基準：以下の基準により、分析対象候補を237件から37件に絞った。
　　�仝�果量（effect size）の計算に必要な統計情報が手に入ること
　　→平均値、SD、n、r値、t値、F値など
　　��多肢選択形式と自由記述形式の得点比較が可能であること
　　→満点が同じであるか、正答率が算出できること

2.1c Moderator variables coded for each study
■調整変数（moderator variables）：テスト形式の効果に影響を与える要因のこと。
→複数の研究で報告されている15の調整変数をリストアップした。
＜※多肢選択形式と自由記述形式の比較について＞
　　�“鏝骸坿嵳廾�の実験計画か、被験者内要因の実験計画か
　　�¬戯邂抒笋衂佞韻�行われているか
＜※問題の提示方法等について＞
　　�Ｊ森圓弊潴笋任△襪�どうか
　　�げ鯏�時にテキストを参照できるかどうか
　　�ゼ遡笋�明示的か暗示的か（※詳細不明）
　　�β浸菫�択形式における選択肢の数
＜※学習者要因について＞
　　�С惱�者のL2熟達度
　　�┳惱�者の年齢
　　��学習者のL1（母語は何語か）
　　��学習者のL2（何語を学んでいるか）
＜※テストの出来について＞
　　��多肢選択形式テストの信頼性
　　��自由記述形式テストの信頼性
　　��自由記述形式テストにおける、採点の信頼性
　　��多肢選択形式テストの正答率
　　��自由記述形式テストの正答率

2.2 Meta-analysis
2.2a Effect size for individual studies
■効果量（effect size）：観察された「影響力」や「関係の強さ」の規模を見積もったもの。
　　→dタイプ効果量：グループ間の平均値の差を標準化したもの。
　　→rタイプ効果量：分散の比率を示すもの。
　　→本研究では、dタイプ効果量のひとつであるHedges’ gを採用する。
■効果量の比較：重みづけをした平均値や標準偏差を使用し、ひとつの実験からひとつの効果量が得られるようにした。
■最終的な分析対象：37の研究から得られた56の実験データの効果量を分析した。

2.2b Effect size aggregation
■メタ分析モデル：どのようにデータをまとめ上げるかについて、異なる2つの方法がある。
　　→混合モデル（the mixed effects model）と固定モデル（the fixed effects model）
→本研究では、実験間の違いを「調整変数」と「それ以外の説明できない変数」の影響とみなす、混合モデルを採用する。
■調整変数の扱い：��〜��の調整変数（信頼性と正答率）は連続的データであるため、重みづけ一変量線形回帰（a weighted single variable linear regression）を用いて分析を行った。
■効果量gの意味：
・g = 0.50　→「一方のテスト形式が、他方のテスト形式の0.5 SD分だけ 平均値が高い」
・信頼区間|0.20| →効果は小さい
・信頼区間|0.50| →効果は中程度である
・信頼区間|0.80| →効果は大きい

3. Results and discussion
3.1 Format effects in L1 reading
■多肢選択形式のほうが自由記述形式よりも易しく、その差は小さい場合から大きい場合まであった。
■特にテスト形式の効果が観察されたのは、被験者間要因の実験計画、被験者内要因の実験計画、無作為割り付けの場合であった。

3.2 Format effects in L2 reading
■調整変数を考慮しない場合、全体として多肢選択形式と自由記述形式の効果は観察されない。
■ただし、次のいずれかが当てはまる場合は、テスト形式の効果が観察された。
�“鏝骸坿嵳廾�の実験計画
�¬戯邂抒笋衂佞�
�Ｊ森圓弊潴�
�こ惱�者のL2熟達度が高い

3.3 Format effects in L2 listening
■多肢選択形式のほうが自由記述形式よりも易しく、その差は中程度の場合から大きい場合まであった。
■特にテスト形式の効果が観察されたのは、被験者間要因の実験計画、無作為割り付けの場合であった。

3.4 Analysis of moderator variables
■ほとんどの調整変数が、予想に反して（信頼区間の重なりがなくなるほどの）大きな影響を与えていなかった。
→たとえば、L1読解において「被験者内要因の実験計画」での効果量（g = 0.64 [0.20, 1.07]）と「被験者間要因の実験計画」での効果量（g = 0.66 [0.10, 1.22]）は近似していた。
■その一方で、（信頼区間の重なりがなくなるほど）大きな影響を与える調整変数が2つあった。
　　��L2読解における、「無作為割り付けである実験」と「無作為割り付けでない実験」
　　→無作為割り付けを行う実験のほうが、テスト形式の影響が現れやすい。
　　��L2読解における、「平行な設問である実験」と「平行な設問でない実験」
　　→信頼区間にゼロが含まれないため、単純な解釈はできない。

3.5 Comparison of moderator variables across domains
■L1読解、L2読解、L2聴解に一貫して、テスト形式の効果に影響を与えていた調整変数：
　　�“鏝骸坿嵳廾�の実験計画
→ひとりの学習者が両形式のテストを受験すると、テスト形式間の差が出にくくなるのでは？
　　�¬戯邂抒笋衂佞�
　　→学習者を両テスト形式にばらばらに割り当てることで、不適切な要因を排除できるのでは？
　　�Ｊ森圓弊潴�
　　→両テスト形式で、設問文の条件をそろえることで、不適切な要因を排除できるのでは？

3.6 Summary and comparison of narratives with meta-analysis synthesis
（※「概要」を参照のこと）

4 Implications
■本研究の結果、主に次の2つの示唆が得られた。
■第一の示唆：多肢選択形式を採用することで、テストの難易度を下げることができる。
→L1読解とL2聴解において、多肢選択形式のほうが自由記述形式よりも易しかったことから。
→たとえば、標準偏差が10であるL1読解問題では、平均6.5点分の難易度変化になる。
→たとえば、標準偏差が10であるL2聴解問題では、平均11.1点分の難易度変化になる。
■第二の示唆：テスト形式の違いをメタ分析によって明らかにすることができる。
→ナラティブ・アプローチによる考察を、数量的に明らかにし、確かめることができた。
→調整変数のなかでも、被験者間要因の実験計画・無作為割り付け・平行な設問が重要であることを示すことができた。

5 Suggestions for future research
■本研究に基づく研究上の留意点は、主に次の2点である。
■第一の留意点：メタ分析は最低2つの実験データがあれば可能であるが、より多くのデータに基づく分析が望ましい。特に本研究では、より多くのL2聴解テストのデータが必要であった。
■第二の留意点：多肢選択形式と自由記述形式の他にも、クローズテストとcテストといった、言語テストによく用いられるテスト形式についてメタ分析が必要であろう。

※図表：メタ分析結果表（省略）

【発表者コメント】
　本論文は、読解・聴解能力のテストとして多肢選択形式と自由記述形式を比較したものであり、この領域を扱った従来の研究を総括するとともに、メタ分析の方法と意義をわかりやすく示したものであった。授業では、結果の解釈とメタ分析の方法に関する議論が交わされた。
　テスト形式間の比較について「選択肢が提示されているほうが難易度は低いだろう」という予測は直感的に可能だが、「実際のテストで何点分の差があるのか」「どのような実験環境や要因計画でもテスト形式の効果は等しく現れるのか」といった点を明らかにするためには、十分に蓄積されたデータを本論文のように包括的に分析しなければならないだろう。この研究により、L2言語テスティング研究においてテスト形式の違いを明確に観察するには、「無作為割り付け」や「平行な設問」のように、条件間の比較がフェアに行われるべきであることが示された。この点は、実験の実施や研究報告を考察する際によく考慮しなければならないだろう。