|
|
|
| 2017年度 異文化言語教育評価論 |
|
課題：指定のジャーナルより、自分の興味のある分野・分析の最新論文を2本程度選び、サマリーと考察を計5ページ程度にまとめよ。 |
Ⅰ. はじめに
本レポートではライティング評価における、テキスト特性の影響を調査した論文2本の概要をまとめ、総合考察を行う (以下の要約の構成はレポート作成者による)。
Ⅱ. 文献のまとめ
& Plakans, L., & Gebril, A. (2017). Exploring
the relationship of organization and connection with scores in integrated
writing assessment. Assessing Writing, 31, 98?112.
0.
概要
■伝統的に第二言語 (L2) ライティング評価では単一のスキルのみを必要とするようなライティングタスクが用いられてきたが、多くの学術的な場面においては、リーディングやリスニングを含む複数の能力の統合がライティングにおいて求められる。近年のL2ライティング研究や評価においては、本物らしさ (authenticity) を向上させるため、統合型タスク (integrated tasks) の使用が増えている。研究者は、こうしたタスクの基盤となる構成概念としてdiscourse synthesisを提唱してきている。
■本研究では、reading-listening-writing の技能統合タスクにおけるパフォーマンスを調査し、discourse synthesisにおけるサブプロセスである、ライティングの構成 (organization) とつながり (connection) がライティングパフォーマンスの得点にどのように影響しているかを検証する。480の統合型ライティングのデータを用いて、構成とつながり (一貫性 [coherence]
と結束性 [cohesion]) がテストスコアに関係しているかを調査した。人間の評価者がライティングエッセイの構成の適切さと一貫性の質を5段階で評価し、テキストの結束性はコンピュータによって産出した。結果より、ライティングの構成と一貫性は技能統合ライティングのパフォーマンスの得点と関係しており、得点が高くなるにつれて構成や一貫性の質が高まっていることが示唆された。しかし、テキストの結束性についてはライティングの得点レベルが異なっても統計的な違いがないことが示唆された。
1.
背景
■ライティングの全体評価として修辞構造がこれまでよく扱われてきた。また、従来は正確性 (accuracy)・複雑性 (complexity)・流暢性 (fluency) もライティングのパフォーマンス評価として用いられてきた。本研究ではこれまであまり行われてこなかった、統合型ライティングにおける、ライティング全体の構成に着目して評価を行う。
■さらに、テキスト特性として結束性 (cohesion) と一貫性 (coherence) の2つに着目する (McNamara, Louwerse, &
Graesser, 2002)。結束性はテキストの明示的な特徴 (e.g., 接続詞、繰り返し、照応)
(e.g., Graesser, McNamara, Louwerse, & Zhiqiang, 2004) を指し、一貫性はテキスト構造化にある論理的な流れ (e.g., Carrell, 1982) を指す。両者は相互関係的なものであるが、結束性はよりテキストの語彙や談話マーカーに表れやすいと言われている。ライティングの先行研究では結束性に関してよく検証されてきており、熟達度の高い書き手は接続詞をより多く用いることが示されている。
■しかし統合型タスクにおけるライティングの構造とつながりについては十分に検証されていない。ゆえに本研究では以下の3つの検証課題 (Research Questions: RQs) の解明を目的に調査を行う: RQ1:
Do organizational patterns differ across score levels and topics?; RQ2: Does
coherence differ across score levels and topics?; RQ3: Does cohesion differ
across score levels and topics?
2.
方法
■データ: 14~51歳までのL2学習者 (母語や出身地は様々) が取り組んだTOEFL技能統合ライティングについての480データ (2種類のテストを含む)
■タスク: あるトピックに関するパッセージを読み、同様のトピックの異なる考えを示すものをリスニングで聞き、それに対する反応を書く技能統合型ライティングタスク
■評価：TOEFLの採点形式に基づく5段階の包括的評価 (効果的なソース、構成、つながり、明確さ、言語エラーの観点を含む記述子あり)
■手順: ①データの構成とつながり (一貫性) について2名の評価者が5段階評価を行う ②ライティングの結束性についてCohMetrixというPCのソフトウェアを用いてテキストにおける以下の6つの結束性の値 (Connectives, Logical
operators, Sentence similarity, Anaphor reference. Argument overlap, Stem
overlap) を産出する
■分析: ライティングの構成と一貫性と得点の影響についてはANOVAで分析、テスト得点とライティングの結束性についてはMANOVAを用いた。
3.
結果
■構成: ライティングの構成に関する5段階評価のレベルごとに、テストスコアに顕著な違いがみられること、またその効果量も大きいことがANOVAの結果より示された。
■一貫性: ANOVAの下位検定の結果より、一貫性の5段階レベルによって、ライティングのテストスコアが有意に異なることが示唆された。
■結束性: MANOVAの結果より、結束性と技能統合ライティングの得点の間には統計的な有意差は見られなかった。しかし、詳細に結果を見てみると、今回実施したテストの形式ごとに、いくつかの結束性要因 (connection words, anaphor,
& logical operators) が得点に影響していることが示唆された。
4.
考察
■本研究の結果よりTOEFLの技能統合型のライティングテストのスコアは書き手の構成能力や文章の一貫性を反映していることが明らかになった。こうした要素はL2の学術ライティングにおいて主要な構成概念であり (Weigle, 2004) 先行研究とも一貫した結果であった。
■こうした結果は今後のライティング評価におけるルーブリックに対して示唆に富むものである。ライティングの構成は現在もよく記述子に含まれているが、一貫性を含むものは少ない。「明確に論理的なつながりが示されているか」といった評価の観点を含めていくことが今後必要となる。また、本研究では結束性とライティングスコアの有意な関係性は見られなかった。結束性に関しては異なるライティングの複雑性を考慮しながら今後さらに検証されるべきである。
5.
結論
■本研究の結果より、技能統合型ライティングにおいても構成とつながり (一貫性) が得点を左右する重要な要因であることが示唆された。ゆえに、ライティング研究や評価においてはこうした要素を含めることが望まれる。
■しかし一貫性を採点することは難しい。本研究では構成や一貫性の評価に包括評価を用いたが、今後は分析的評価を用いた研究が必要であろう。また、結束性についても本研究では6つの限定的な要素のみしか扱わなかったため、この点も限界点として挙げられる。さらに、結束性や一貫性は読み手によって異なる要因であることを踏まえ、言語学的な側面だけでなく社会言語的側面からもさらに質的に調査することが望まれる。
& Wind, S. A., Stager, C., & Patil, Y. J.
(2017). Exploring the relationship between textual characteristics and rating
quality in rater-mediated writing assessments: An illustration with L1 and L2
writing assessments. Assessing Writing, 34, 1?15.
0.
概要
■多くの研究者が、学生の作文の特定のテキスト特性 (textual characteristics) がどの程度評価の高低に関係しているか、また生徒の特性 (e.g., 英語学習者) による関連の違いを調査してきた。こうした研究は、評価者の判断 (rater judgement) やライティング熟達度の発達に対して示唆を与えるものである。しかし、テキスト特性がどの程度、評価の質と関係しているかは比較的未解明である。
■本研究ではライティングエッセイのテキスト特性が、評価者を介したライティングのパフォーマンス評価の質に与える影響を調査し、評価の質に対するより完全な理解を得ることを目的とする。英語母語話者と英語学習者を対象とした2つのライティング評価のデータセットが使用された。テキスト特性を測定するためにCohMetrixソフトウェアを、評価の質に関する指標を得るためにPartial Credit modelを用いた。エッセイの特性と評価の質についての関係性は、相関係数とプロファイル分析によって調査した。結果より、評価はエッセイの異なる特性によって影響されることが示唆された。
1.
目的
■本研究の目的は、エッセイのテキスト特性と評価における関係性を明らかにすることである。
■検証課題 (Research Questions: RQs): テキスト特性の指標はライティングのパフォーマンス評価の得点の質とどれだけ一致するか? (RQ1); テキスト特性のプロファイルはどの程度、評価と一致するか? (RQ2); テキスト特性の関係性に関する情報はどの程度評価の質に対する示唆を持っているか? (RQ3)
2.
背景
■学生のエッセイのテキスト特性については言語知識、談話知識、社会言語知識 (Grabe & Kaplan, 1996;
Weigle, 2002) といった観点が考えられるが、今回は特にテキストの言語特性に焦点を当てる。
■CohMetrix Text Easability Assessor (i.e.,
CohMetrix; McNamara, Graesser, McCarthy, & Cai, 2004) というテキスト分析の自動ツールを用いて、ライティングのテキスト特性を考慮する。
3.
方法
■L1のデータとして、170名のL16：7年生が書いた作文に関して、10人の評価者が4つの観点 (ideas, style, organization,
& conventions) から5段階評価 (1 = low; 5 = high) で採点したデータが用いられた。
■L2のデータとして、148名のL2英語学習者 (大学生) のplacement
testについて、17名の評価者が7段階評価 (0 = low; 6 = high) で評価したデータが用いられた。
■以下の4つの手順で分析を行った: (1) Cohmetrixを用いた作文のテキスト特性の産出, (2) 各エッセイに対するModel-data fit statics, (3) テキスト特性とmodel-data
fit statisticsの相関係数の産出, (4) 異なるレベルのmodel-data fitのエッセイにおける異なるテキスト特性を見るためのプロファイル分析
4.
結果と考察
■テキスト特性とライティング得点の関係性については統計的に有意な関連が示唆された。具体的には、L1の書き手によるエッセイではテキスト特性のnarrativityとword concretenessと、ライティングエッセイの得点について正の相関がみられた。このことから、より物語的であり具体的な表現を多く含むライティングが高い評価を得ることが示唆された。
■さらにL2の書き手によるエッセイについては、narrativityに対しては有意な負の相関が得られ、word concretenessやreferential
cohesionについては有意な正の相関が得られた。こうした結果より、L2ライティングの文脈では、より具体的な語を含み、結束詞を含むものは一貫して高く評価されやすいということが示された。
■またプロファイル分析の結果より、L1のエッセイは異なるテキスト特性をまんべんなく含んでおり、それは書き手の熟達度によって大きく変わらないことが示された。
■L2の書き手のプロファイル分析を行ったところ、わずかに異なるレベルのテキスト特性が含まれており、それは各カテゴリーにつき異なる量であることが示された。さらにテキストと書き手に関して小さいながらも統計的に有意な交互作用がみられ、L2エッセイに含まれるテキスト特性は、書き手の熟達度によって異なることが示唆された。
5. 結論
■本研究の結果より、評価者が介するライティング評価に関連する重要な要素としてのテキスト特性に関する評価の質を考慮することの重要性が示された。
■本研究のようにテキスト特性と評価の関係性を明らかにしていくことで、ライティングの評価者トレーニングで用いるマテリアルに反映したり、そうした特性を含むテキストを評価サンプルとして活用したりすることが可能である。
■本研究の限界点としては以下の3点が挙げられる:
① テキスト特性を網羅的にカバーして検証できなかった
② 今回の分析ではCohMetrixを使用するために、文法やスペリングのミスを修正したが、実際の評価ではそうしたテキストの特性に影響を受けやすいこと
③ 今回の分析モデルでは個人のslope
parameterや採点パターンを分析で考慮することが出来なかった (評価者の採点を全体のものとして分析で扱った)
■今後はより良い評価者訓練を目指し、より大きなスケールでライティング評価とテキスト特性について調査することが求められる。
Ⅲ. 総合考察
本レポートではライティング評価における、書き手のテキスト特性に着目した研究をまとめた。Plakans and Gebril (2017) では、技能統合型ライティングにおける書き手のテキスト特性と、パフォーマンス評価の得点との関連が調査された。結果より、ライティングの構成や出来事の論理的なつながりといった一貫性は、高いライティングパフォーマンスであると評価されることが示唆された。また、L1とL2の書き手のライティングにおけるテキスト特性を分析したWind, Stager, and Patil (2017) では、書き手の母語によって異なるテキスト特性の傾向が得られ、ライティングのスコアとの関係性についても、一貫性や使用語の具象性といったテキスト要因がスコアの高さに影響することが示唆された。
これらの結果より、L2ライティングにおいては、テキストの字義レベルのつながり (Wind, Stager, & Patil, 2017) のみならず、全体の構成や全体の論旨の流れが、評価者の判断に与える影響が大きい (Plakans & Gebril, 2017)
ことが示唆された。論文中で著者も指摘していた通り、この研究で得られた示唆は、ライティングのようなアウトプット型のパフォーマンス評価におけるルーブリックの記述子作成や、評価者間トレーニングにおいて積極的に活用していくことが期待される。また、現状の評価においてあまり着目されていなかったライティングの一貫性についても、その構成概念をより明確に明らかにし、どのようなライティングが一貫したものとみなされるかを明確に示すことが今後の課題になると考えられる。
今回焦点となっていたテキストの一貫性には、テキストの結束性が関係しているということはこれまでの読解研究でも指摘されている。テキストの結束性は、テキスト内の概念や、アイデア、関係性がどれだけ明示的であるかの度合いを指す一方で、テキストの一貫性は読み手の中に構築されるテキスト表象のことを指すとも言われている (e.g., McNamara, Kintsch,
Songer, & Kintsch, 1996)。ライティングの評価においては、その得点を左右する重要な要素として一貫性が取り上げられるが、一貫性は書かれたライティングを評価する読み手に大きく依存するという側面も持ち合わせている。今後の研究では、一貫性を判断する評価者の個人差や、ライティングのトピックといった要因も考慮しながら多値型のラッシュ分析などを用いてより俯瞰的に評価の外観を捉えていくことが必要であると考えられる。
Ⅳ. 参照文献
McNamara,
D. S., Kintsch, E., Songer, N. B., &Kintsch, W. (1996). Are good texts
always better? Interactions of text coherence, background knowledge, and levels
of understanding in learning from text. Cognition and Instruction, 14,
1?43.
Plakans, L.,
& Gebril, A. (2017). Exploring the relationship of organization and
connection with scores in integrated writing assessment. Assessing
Writing, 31, 98?112.
Wind, S. A., Stager, C., & Patil, Y. J.
(2017). Exploring the relationship between textual characteristics and rating
quality in rater-mediated writing assessments: An illustration with L1 and L2
writing assessments. Assessing Writing, 34, 1?15.