Lumley, T., & O’Sullivan, B. (2005). ‘The effect of test-taker gender, audience and topic on task performance in tape-mediated assessment of speaking’. Language Testing, 22(4), 415-437.

1.   導入

・外国語の口頭試験は、テスト受験者の特徴などの様々な要因に影響を受け、課題の難易度をも左右する可能性があるという指摘がされている。

・本研究ではGSLPA (Graduating Students’ Language Proficiency Assessment)のスピーキングのセクションを基に、試験で使用されるタスクが特定のグループの受験者に対して有利/不利に作用するかどうかを調べることを目的とする。

・これまでの研究が対面式の試験であったのに対し、本研究においては受験者の声を録音したテープを使用し、対面者を介さない形で審査した。

2.   背景

◯GSLPAとは…香港の大学で行なわれている卒業検定試験のこと。卒業後、就職先の雇用主に生徒の卒業時の英語のレベルを証明するために開発された。

・主にビジネスの場において実際に使えるものを想定した問題が多いが、Davies(2001)による指摘からスピーキングセクションにはビジネスに限らず、より広い社会的な領域に関する質問もいくつか含まれるようになった。

・スピーキングテストの形式は受験者が録音された音声を聞き、問題冊子を見ながら自分の回答をテープに吹き込むというものである。

3.   先行研究

・これまでの研究は、トピックや話者の年齢、性別、社会的階級などが第二外国語の習得に及ぼす影響として、話者のパフォーマンスに注目したものばかりで、聞き手が話者に与える影響についての研究はほとんどない。

・スピーキングのテストや試験は、「トピック」「タスク」「面接官」という3つの要因が受験者の性別に関係し、成績に影響を与えうるといわれているが、まだ裏付けに乏しい。

・タスクのトピックが第二外国語の試験において学習者に及ぼす影響について明確な結論を出すことはできないが、様々な先行研究より受験者の特徴や背景、あるいは両者の相互関係がこの問題を考える上で重要な役割を果たしているということがわかった。

・先行研究は対面式の試験で面接官の態度を調整することによって受験者の試験の成果に影響を及ぼすことを明らかにしたが、対面者を介さない試験においてはどの要因がどの程度影響を及ぼすかなどまだ解明されていない点が多々ある。

4.   リサーチ・クエスチョン

RQ1: 録音機器を介した聞き手のジェンダーが受験者の成績に影響を与えることはあるのか？

RQ2: 典型的な男性志向または女性志向のタスクは受験者の成績に大きく関与するのか？

5.   本研究

■参加者…香港大学のGSLPA受験者894名

■採点者…一定の採点基準を共有した30名（英語母語話者13名、中国語を主とするその他の母語話者17名）

■タスク…Table 1及びTable 2参照。

■評価方法…分析的評価尺度を使用し、6段階に分けて以下の4つの基準から評価した。

①タスクの達成度合いと関連度合い ②表現の明瞭さ ③文法と語彙 ④発音

6.   データ分析

・分析には、項目困難度や他の相の推定値とある受験者の得点をもとに受験者の能力値を推定する統計モデルである多相ラッシュモデルを用いた。

7.   結果

・全部で27つのタスクのうち、4つのタスクにおいてのみ受験者の性別が成績に影響しているという結果が出た。

 

・聞き手が男性であれば男性に優位であり、聞き手が女性またはグループ単位であるとき女性に優位であるという結果になった。

・Task 5.4の結果より、男性志向のトピックと男性の聞き手という組み合わせは、女性の受験者にとってのタスク困難度を上げる要因となるということがわかった。

・典型的に男性志向/女性志向と思われるタスクと性別ごとの受験者の成績の間に関係性をみることはできなかった。しかし、電話のメッセージを受け取るというタスクにおいては女性の方が優位であるという結果が出たことから、一般的にみて性別ごとに得意/不得意なタスクのタイプが存在することがわかった。

8.   今後の展望

・本研究ではタスクのトピックと聞き手のジェンダーが少なからず受験者の成績に影響を及ぼすことが明らかになった。

・今回の実験で出た結果は無視することはできないが、極めて大きな問題に関与するようなものではなかった。しかし、これは今までの研究を再保証するものであり、テスト開発のいかなる段階においてもその評価に関しては慎重にならなければならないということを示唆するものである。

・タスクの困難度は単に男性志向/女性志向によって判断されるものではないということが確認された。これはグループ単位で捉えるよりも個人単位で有効な影響が見られるものであるため、Brown (2003;2004)の研究のように統計分析と談話分析を組み合わせて分析することでタスク困難度に影響する要因を明らかにすることができるかもしれない。

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Gholami, J., Sadeghi, K., & Nozad, S. (2011). Interviewers’ gender and interview topic in oral exams. Theory and Practice in Language Studies, 1(10), 1394-1399.

1.   導入

・人が外国語を学習する際に影響を受ける要因は様々である。

・女性と男性の会話スタイルが完全に異なっていることから、たくさんの研究者が外国語のスピーキングテストにおける質問者の性別が受験者の成績に影響を及ぼしていると考えている。

・これまでの研究では質問者の性別に加えて社会的階級などの観点から受験者の成績に及ぼす影響に関するものが明らかにされてきた。

・O’Sullivan (2000)の研究によると、質問者が女性であるほうが受験者は回答においてより正確なものを産出する傾向にあるという結果が得られた。

・近年、イランにおける英語教育の需要が高まるにつれて、試験の形式も変わりつつあり、生徒の英語上達度を測定するためにスピーキングテストの導入などがされるようになった。しかし、イランの文化的背景からスピーキングテストを実施する際に質問者やトピックがテスト受験者の結果に不利益を及ぼす懸念がされている。

・そこで、以下の2つのリサーチ・クエスチョンをたてて実験を行った

RQ1: スピーキングテストにおいて、質問者のジェンダーとEFL学習者のパフォーマンスには関連性があるか？

RQ2: スピーキングテストにおいて、トピックとEFL学習者のパフォーマンスには関連性があるか？

2.   本研究

■参加者…イランの大学で英語を学習している女性の学生30名

※イランの文化における女性の社会的ステータスにより、異性の質問者を面接官とした際の結果が顕著にみられると考えたため、今回の実験では女性のみを実験参加者の対象としている。

■質問者…英語の教師として実績があり、尚且つスピーキングテストの面接官経験のある男女各1名

■手順…参加者は英語中上級レベルのイランの女子大学生30名。これらの生徒は、より上のレベルにおける英語教育を望む者を対象に実施したライティングテストを達成した者のみである。スピーキングテストでは、gender-neutralとgender-biasedの2種類の質問を女性の面接官と男性の面接官の2名がそれぞれ2問ずつ出題した。同じ質問において1回目の回答よりも2回目の回答のほうが良い成績を出す可能性を考慮し、試験ではgender-neutralとgender-biasedにおいて同じ系統に分類される異なった質問を2問ずつ用意したものを使用した。

○質問について…イランの女性は、その文化的背景から特定の質問において恥ずかしさを感じる場合がある。今回は、gender-neutralの質問を「休日や暇な時間をどのように過ごすか」、gender-biasedの質問を「結婚や婚約に関する考え」に設定して実験を行った。

○評価者間信頼性について…試験では、その場で質問者が語彙・文法・発音・流暢さの観点から採点をした。2人の評価にズレがないことを確認するために生徒の回答を録音し、それぞれ採点し直すことによって一定の相関係数が得られたことを確認した。

 

3.   結果

■記述的統計の結果

■質問者のジェンダーと受験者の成績の結果

→質問者のジェンダーと受験者の成績には統計学的に有意差がみられた。また、Table 1においても女性の面接官による質問のほうが高い点数を取得したことからもこのことが証明された。

■トピックと受験者の成績の結果

→トピックと受験者の成績には統計学的に有意差がみられた。また、Table 1においてもgender-neutralの質問においてのほうが高い点数を取得したことからもこのことが証明された。

4.   議論

■質問者のジェンダーと受験者の成績について

・本研究より、受験者と同じ性別である女性の面接官による質問のほうが良い成績を取得するということがわかった。

・しかし一方では、質問者と受験者のジェンダーは試験の結果になんら影響を及ぼさないという見解を出している研究も存在している。これはテスト受験者や質問者の年齢や国籍、文化的背景などの社会的な要因が影響しているのではないか。

■トピックと受験者の成績について

・イランという女性が社会的に特殊な扱いを受けている国においては、他国において日常的になされる話題が御法度であったり、不快に感じるものであったりする場合がある。

5.   結論

・これまでになされてきた研究からたてた仮説通り、スピーキングテストにおける質問者と受験者のジェンダーは、その結果に影響を及ぼしているということがわかった。

・トピックに関しては、gender-neutralのものの方が高い成績を取得するという結果が得られた。

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

【考察】

　Lumley & O’Sullivan (2005)の研究では対面者を介さない方法を通して実験を行っていたのに対して、Gholami & Sadeghi & Nozad (2011)の研究では対面者が受験者に与える影響に注目して実験を行っていたということから、全く別の方法をベースに研究を行ったにもかかわらず、同じような結果が得られたことがわかった。前者の実験で使われたテスト受験者が録音機器を介して回答するという方法は、実際に英語を使うときにはなかなか想定できないものであると思われる。この実験で使用されたGSLPAというテストがもともと英語の熟達度を測るために開発されたものであるというのに、実際に使用する環境と異ったものであっては本来の目的を達成できていないと言える。しかし、電話のメッセージを受け取るという場合においてはこのタスクは真正性を獲得し、尚且つ実際のビジネスなどの場において頻繁に求められる能力となりうる。このことを踏まえると、録音機器を介したスピーキングテストを完全に廃止してしまうということもできないであろう。また、この研究では試験で課されるタスクのタイプが性別によって得意/不得意という傾向を持つため成績に影響を及ぼす可能性について示唆されていた。今後の研究では、どのようなタスクがどの性別に優位な傾向であるかということを明らかにし、スピーキングテストにおいて特定のグループに有利または不利な結果を招かないようなタスク構成を可能にするような研究が求められる。

　Gholami & Sadeghi & Nozad (2011)の研究では、受験者の文化的背景が実験の結果に大きな影響を与えていると感じた。この研究の目的は、スピーキングテストにおいて質問者のジェンダーが受験者の成績に及ぼす影響について明らかにすることであったが、イランという特殊な文化的背景を持つ国における女性の英語学習者を対象に選んだことは、その結果がある意味完全に予測できることであり、目的の達成にはあまり寄与していないように思えた。このような、性別が社会的なステータスに大きく関与している国をバックグラウンドとして有する者を対象とした研究に関しては結果を一般化せずに、また違った枠組みで捉えた研究をしてみると面白いだろう。

　今回扱った研究のどちらでも明らかにすることができなかった点は、タスクの困難度とジェンダーとの関係性である。これは、両者の結びつきはそれほど明確なものではないためであると結論づけることもできる。実際、誰にとっても完全に平等に感じるコンテンツフリーな試験問題は存在しない。しかしテスト開発者は、今回のような試験において受験者の結果に確実に大きな影響を及ぼしているとは言い切れない要因についても無視せずに、研究を重ねることによって可能な限りどの受験者にとっても平等性を保った試験問題を作成するように努力することが大切であると思われる。