ABOUT/CONTACT SEMINAR SLAA （Second Language Acquisition & Assessment Research Group）  FOR STUDENTS  TEASY  LINK

---

He, L., & Shi, L. (2012). Topical knowledge and ESL writing. Language Testing, 29(3), 443-464.

1.           要約

　本研究はESL (N = 50) を対象に、English Language Proficiency Index (LPI) のライティングパフォーマンスにおけるトピックに関する知識 (topical knowledge)の効果を調査対象とした。参加者は初級、中級、上級のように熟達度別に分けられ、2つの異なる (general and specific topic)トピックに関するエッセイ (制限時間あり) を書いた。分析の結果、general topicについて書いた場合、すべての参加者のライティングパフォーマンスが有意に向上することが判明した。Specific topicは、１つの評価観点である内容において低い得点になった。これは、考え (ideas) の質と発達の低さや暗示的な立場取り(position taking)、弱い結論によるものである。また学生は、specific topic taskにおける構成や言語の使用に関しても低い得点であった。原因は、結束性と一貫性の低さ、分量の短さ、言語的誤り、アカデミック英語を使用する頻度が少ないためであると考えられる。インタビュー (遅延)によると、参加者がspecific topicのエッセイを書く場合、そのspecific topicに関する知識が必要となるため、文章を産出することが難しくなったということであった。本研究は、ESL のライティングテストに対して適切な産出を発達させることへの重要性に寄与するものである。

2.           研究目的

�@         general knowledge / specific knowledgeが求められる場合、ESL学習者は全体的な得点と要素得点という点で、どのように異なるのか

�A         2つの産出は、ESL学習者のライティングにある内容、構成、言語のようなテキスト的特徴に異なった効果があるのか

�B         参加者は、general knowledge / specific knowledgeが求められる時、どのようにライティングパフォーマンスを知覚するのか

3.           方法

3.1.             ライティングプロンプト

■トピックの選択は、3つの熟達度の学生を対象に予備実験として行われた。以下が実験で使用されたトピックである。トピックAがgeneral topic、トピックBがspecific topicである。

3.2.             参加者

■参加者はESLクラスに在籍している50名。学生たちは、プレイスメントテストでそれぞれの熟達度(初級、中級、上級)に合うクラスへと配分された。

3.3.             分析に関するスコアリング

■学生のエッセイは、3つの観点 (内容、構成、言語)に対して 6ポイントの分析的評価を用いた。この方法は、LPIの全体的分析に用いられるルーブリックから応用したものである (Appendix 参照)。

■評価者は2名で行われ、評価者トレーニングを実施した。ここでは、評価に対して共通の見解を持てるようになることが目的であった。

■また、同じ評価者はTユニットとすべての誤り (統語的、語彙的、スペリング、修辞法)を特定するよう求められた (accuracy)。加えて、それぞれのエッセイの総語数 (length)とアカデミックで使用される単語がどの程度用いられているかも計算した。

■最後に、 この3つの指標を6ポイントのスケールに変換した。

3.4.             ライティングスコアの統計的分析

■個々のライティングにおける全体的な得点は、3つの観点の平均として計算されている。全体的な得点と観点ごとの点数はそれぞれ独立した変数として扱っている。

■t検定を使用し、2つの産出における全体的な得点の違いをそれぞれの熟達度で比較した。

■熟達度とライティングパフォーマンスにおける2つの産出における主効果と交互作用を特定するために、3×2の分散分析を使用した。多重分析にはテューキーが用いられた。

■第一種の過誤の率は、3つの点数に対してボンフェローニの調整によって調整された。

3.5.             インタビュー

■ライティング得点に基づく量的研究を説明し実証するために、遅延テストとして準構造化インタビュー (30分) を実施した。これは、2つの産出に関してどのように感じたのかを調査するのが目的である。

■熟達度ごとに参加者 (計5名)がボランティアで選ばれた。

■初級レベルでは2名 (Ben and Bill)、中級レベルでは1名 (Ida)、上級レベルでは2名 (Allen and Alex)が今回のインタビューを受けた。Ben、Bill、Allen、Alexは、第一言語として中国語を話したが、Idaは韓国から来ていた。

4.           結果

■ライティングの全体的得点は、3つの熟達度に渡ってgeneral topicの方がspecific topicよりも成績が良かった。

■3つの観点を見ても、3つの熟達度に渡ってgeneral topicの方がspecific topicよりも成績が良かった。

■また本研究では、言語熟達度はエッセイライティングにおけるパフォーマンスを決める主要な要因ではないということが示された。

■これはインタビューからも確認することができる。参加者がspecific topicのエッセイを書く場合、そのspecific topicに関する知識が必要となるため、文章を産出することが難しくなったということだった。

■このようなことから、テスト作成者は書き手の知識に影響を受けるような文化的または政治的バックグラウンドに対して敏感になる必要がある。

5.           考察

　本研究で明らかになったことは、ライティングのパフォーマンスはそのトピックに関する知識が非常に影響力をもつということである。これは、インタビューを受けた5名の言語データからも読み取ることができる。以下では、学習者が持つトピックに関する知識が大きく影響する分野であろうテスティング面と指導面の2つの観点から考察する。

　テスティングに関しては、本文でも引用されていたCarlson and Bridgeman (1986) が言うように、「トピックによる内容は、個人的なもしくは文化的な経験に偏るものではなく、できる限り公平でなければならない (p. 139)。」ことが研究においても考慮すべき点であろう。このことから、ライティング能力を測定する場合、熟達度の要因だけではなく学習者がもつトピックに関する知識も考慮に入れなければならない。テストを使用してライティングを測定しようとするのであれば、ライティング能力とはどのような構成概念を有しているのかを明示的に示し、正確な測定を行うようにしなければならいであろう。

　次に、指導面に関する考察をする。エッセイを含むライティングを指導する際、熟達度が高い学習者よりも熟達度が低い学習者にトピックに関する知識を教えようとするが、そうとも言えないことが本研究で示されている。今回の実験では、言語熟達度がライティングパフォーマンスに与える影響は小さいということが統計的推測で述べられていた。しかしライティングにおいては言語熟達度は重要であるという認識は一定程度賛同を得ているであろう。ということは、熟達度が高い学習者にはよりトピックに関する知識が重要であることが言えよう。政治のように特定性の高いトピックを扱うことは少ないとは思われるが、ある程度特定性が高いトピックについて書かなければならない場合は、熟達度問わずトピックに関する知識を与えることが重要である。

Appendix

Tang, C., & Liu, Y. T. (2018). Effects of indirect coded corrective feedback with and without short affective teacher comments on L2 writing performance, learner uptake and motivation. Assessing Writing, 35, 26-40.

1.       要約

　口頭訂正フィードバック (CF) の利点はこれまでの研究で明らかにされきた。しかし、間接的CFにおけるさらなる研究、つまり良い書き手になるために生徒を励ます方法としての教師のコメントの役割など書き言葉による訂正フィードバックの可能性に関する調査は依然として不足している。本研究では、コード付き間接的フィードバック (ICCF) と短いaffective commentが、ICCFのみよりもL2学習者のライティングパフォーマンス、アップテイク、モチベーションを 向上させるかどうかを調査した。L2学習者 (N = 56 ) は、上記のフィードバックを受け取りそして3つのタスクを完成させた。分析の結果、全体的なライティングパフォーマンスに有意な向上が見られ、受け取ったフィードバックの種類に関わらず学習者にアップテイクにも有意な向上が見られた。このことから、ICCFにaffective commentを追加してもL2学習者のライティングを有意に促進することは低いということが示された。しかしながら、参加者の質問紙データの結果、affective commentを追加したことで学習者にポジティブなマインドセットの形成を促進することができたことが示された。教育的示唆として、ICCFとaffective commentは相補的な関係であるということが言えるであろう。

2.       研究目的

�@         CFがICCFだけの場合、ICCFは学習者のライティングパフォーマンス、アップテイク、モチベーションを促進することはできるのか

�A         ICCFにaffective commentを追加した場合、ICCFは学習者のライティングパフォーマンス、アップテイク、モチベーションを促進することはできるのか

�B         ICCFだけの場合とaffective comment 付きICCFの場合をライティングパフォーマンス、アップテイク、モチベーションで比較すると、それぞれどのような違いがあるのか

3.       方法

3.1. 参加者

■56名の中国語話者が本研究に参加した。英語の熟達度はCEFR A2 レベルであった。

■また、参加者は同等なL2ライティングスキルを持っていた。

■参加者は、(1) 比較群としてICCF だけを与える群 (n = 28)、 (2) 実験群としてICCFとaffective commentを追加する群 (n = 28)に分けられた。

3.2. デザインと道具

■グループの違いに関わらず、参加者は3つのタスク (3つの絵をもとに物語を作成) と質問紙を１つ遂行した。

■学習者は、最初のライティングタスクを70-100字程度で書くよう求められた。

■ライティングはBrown (2007)によって作成されたルーブリックが用いられ、2名の評価者によって評価された。観点は、(1) スペリングや言葉遣い、(2) 文法、(3) 内容、(4) 構造であり、100点満点に設定されている。

■点数化し最初のドラフトを学習者に戻した後に、調査者は書き直しタスク (second writing task) を与え、学習者に修正させた。

■学習者にはICCFを与えているので、調査者はそれに対応するコード表を与えた。観点は、Brown (2007)と同じ4つの観点である。

■学習者のアップテイクを測定するために、3つ目のライティング課題が学習者に与えられた。

■これまで行われてきたドラフトと3つ目のドラフトを比較し、3つ目のドラフトで見られたいかなる向上は、アップテイクの証拠としてすることができるであろう。

■最後に、全ての学習者はリッカートスケール方式の質問紙に回答した。

■学習者のモチベーションに対する全体的な変化を見ることができるリッカートスケール式の質問紙に加え、知りたいことがピンポイント知ることができるopen-ended の質問紙も加えて実施した。

3.3. 手順

3.4. 分析

■ICCF だけを与える群 (n = 28)と実験群としてICCFとaffective commentを追加する群 (n = 28)を対象にし、以下の組み合わせでライティングの得点をt検定で分析した。

�@         １つ目のドラフトの得点 (実験群vs 統制群)

�A         2つ目のドラフトの得点 (実験群vs 統制群)

�B         3つ目のドラフトの得点 (実験群vs 比較群)

�C         １つ目のドラフトの得点と2つ目のドラフトの得点 (実験群)

�D         １つ目のドラフトの得点と3つ目のドラフトの得点 (実験群)

�E         １つ目のドラフトの得点と2つ目のドラフトの得点 (統制群)

�F         １つ目のドラフトの得点と3つ目のドラフトの得点 (統制群)

4.       結果

■ICCFのみの場合、学習者のライティングパフォーマンスとアップテイクに対して効果的であることが明らかとなった。

■本研究で明らかとなったことの中で重要なことは、affective comment付きICCFはICCFのみの場合と比べると、ライティングパフォーマンスに関しては同等の効果が認められたが、質問紙の結果からaffective comment付きICCFは学習者を励ます効果があるということがわかったことである。

■学習者が、L2の熟達度の影響でICCFとコメントを理解できない場合、教師はコメントをL1で示すことも考えた方が良いであろう。

■また、affective comment付きICCFを与えることで学習者のモチベーションが上昇し、ICCFをより深く考えることが示唆された。つまり、両者は相互的な関係であることが言えるであろう。

5.       考察

　本研究は、コード付き間接的フィードバック (ICCF) と短いaffective commentが、ICCFのみよりもL2学習者のライティングパフォーマンス、アップテイク、モチベーションを向上させるかどうかを調査した。分析の結果、affective comment付きICCFは、ライティングパフォーマンスを向上させる点ではICCFのみと変わらないが、学習者のモチベーションを向上させる効果があることが示唆された。モチベーションが上がることで、ICCFをより深く考えることにつながり、結果的に言語習得に良い影響を与えると考えらる。

　しかしながら、本研究の課題としてあげられるのは機関の短さである。今回は短期間の調査であったため、長期的な調査が必要である。長期的に見て、ライティングパフォーマンスはどのように変化するのか、また、モチベーションはどのように変化するのかを特定しなければ、affective comment 付きICCFの影響が良いものなのかどうかに関する結論は出せないであろう。

　加えて、affective comment 付きICCFの影響に結論を出すためには、ICCF以外の要因も考慮する必要がある。例えば、タスクのタイプによってaffective comment 付きICCFの効果が左右される可能性がある。今回の実験では、3つの絵をもとに物語を書くという形式であった。タスク形式が自由英作文の場合ではどのような結果になるのかを調査する必要があるであろう。タスク形式に付随して、トピックに関する知識の影響も鑑みる必要がある。また、モチベーションに関しては文化的背景が大きな要因になることが考えられるため、安易に日本人に一般化することはできない。