Zhao, C. G. (2012) Measuring authorial voice strength in L2 argumentative writing: The development and validation of an analytic rubric. Language Testing, 30(2), 201-230.

Introduction

・英作文における書き手のvoice (意見や主張)というのは書き手が書く際にも評価の際にも重要な役割を果たすものである。

・しかし、その定義や概念が不明瞭で捉えにくいものであるがゆえに実践的な研究がほとんどされてきていない。

・本研究では英作文に現れるvoiceを評価できる妥当性の高い分析的ルーブリックの開発を行い、ライティングやその評価におけるvoiceの扱い方について考察する。

Review of literature

・主にL1に焦点をあてた先行研究においてはvoiceとは作文のなかで表現できる個人それぞれの特徴的なものであり、書き手の個性が表れるものであると言われていた。

・しかしL2研究者らによると、voiceは社会的・文化的文脈に影響を受けて形成されるものでもあるということから、voiceは個人的な特徴と社会的な要因に影響を受けているものであると言われているが、未だにその概念ははっきりとしたものではない。

・Hyland(2008)は学術的な文章におけるvoiceを、書き手と読み手のやりとりに不可欠なものであるとみなし、包括的な相互作用モデルを提唱した。(Figure 1参照)

・voiceに関して論理的にはいくつかの研究がされたが、教育的示唆を得られるような実践的な研究はあまりされておらず、ルーブリックの評価項目として用いられているものの全体的な読み手の印象で決められていたり、あまり重視されない項目とされていたりするのが問題点である。

・他にもHelms-Park and Stapleton’s(2003)の研究でvoiceの強さを測るための指標が提示されているが、代表性や妥当性の点で問題があるといえるため、本研究ではHyland(2008)のモデルを元にルーブリックを開発することから始める。

RQ：Hyland(2008)の理論モデルを元に開発された分析的ルーブリックで測ることができるL２学習者のargumentative writingにおけるvoiceの強さには、どれほどの信頼性と妥当性があるか

Method

＜Material＞

TOEFLR iBTのライティング問題に対する480の回答をマテリアルとして用いた。(内200例をルールブック作成に、別の200例を妥当性検証に、残りをrater trainingに用いた)

＜Instruments＞

ルーブリックはHyland(2008)のモデルにある9つの項目に、先行研究から重要と判断した項目1つ、読み手の全体的な印象による評価項目1つを加え、計11項目が設けられ、0～4の5段階評価が用いられた。

＜Participants＞

L1/L2ライティング研究や評価の経験のある研究者6名が協力者として分析を行った。

＜Procedure and analysis＞

①ルーブリック評価の実践

・ライティング評価の際の基本的なルーブリックの使用方法と、今回のvoiceルーブリックの構造や内容を理解し、voice評価の際の注意点などを確認する。

・評価者は2人1組で200のライティングサンプルのvoiceの強さを評価する。このルーブリックを用いた評価は2組によって行われ、それら2組の評価の平均値を後の分析で用いた。

②思考発話タスク

・評価者1人1人に対して、それぞれライティングサンプル3つの評価を行ってもらい、その過程を思考発話させる。

・また、タスク終了後にインタビューを行い、使用したルーブリックの妥当性や適用可能性について評価者の感想を聞く。

③ルーブリック改訂

・思考発話タスクでのデータを質的・量的に分析し、ルーブリックの信頼性・妥当性・適応可能性を検証し、その結果をもとにルーブリックを改訂する。

・改訂されたルーブリックを用いて別のライティングサンプル200例を評価し、分析を加える。

Results

＜quantitative analysis results＞

・評価者間信頼性は88～93％であり、思考発話タスクでも高い評価者間信頼性が結果として表れた。また、同じく思考発話タスクの結果より、評価者内信頼性も約91％と高い結果となった。

・voice評価の量的分析により、ライティングにおいてどのようにvoiceが表現されるかは①the presence and clarity of ideas in the context

②manner of idea presentation

③writer and reader presence

　の3つの側面が大きく関係しているということが明らかになった。

＜qualitative date analysis results＞

・内容面については、主張の面白さや斬新さ、親しみやすさなどがvoiceの評価と関連性があるのではないかという意見が多かった。

・また内容だけではなく、書き手がその内容についてどのように語彙や言い回しを用いて主張するかということも関係があるという意見も多かった。

・一方で、書き手と読み手の存在というのもvoiceの強さを評価するときに関係のあるものであると言われた。書き手の存在がはっきりと表れていたり、きちんと読み手の存在を認識していたりという文章は高く評価された。

・質的分析を行ったことで、voice elementがどれほど多く使われているかだけではなく、どのように使われているかという点もvoiceの強さを評価する際の重要な観点であるということが分かった。

＜Rubric revision＞

・ここまでの分析を元に、以下の三点を中心にルーブリックの改訂を行った。

　①今回のデータには現れにくい言語特徴などの不要部分の削除

　②項目別ではなく、3側面別での評価のための項目分け

　③評価基準の具体化

＜validation of the revised voice rubric＞

・改訂されたルーブリックをもとに新たなライティングサンプル200例を評価し、分析を加えた結果、voiceの３側面は文章に表れるvoiceの強さを測る良い指標になりうることが明らかとなった。

・しかし３側面を構成するvoice elementの量のみでは十分な分析結果が得られなかったため、その質、つまり正しく用いられているか・効果的に使用されているかなどを評価者が判断する必要があるといえる。

Discussion

・Hylandの理論モデルは公的な学術記事等をコーパスとして作成されたものなどで、すべての項目が今回のライティングサンプル(TOEFLR?iBTの回答)に当てはまるものではないといえた。このことからは、よりよいルーブリックを作成するためには、ライティングタスクの特徴にも注目することも大切なだとわかる。

・また、学習者の熟達度によってもvoiceを主張する際に用いる方法やストラテジーが異なることがわかった。このことからは、ライティング指導をする際に熟達度に合わせたストラテジーを指導することや、voiceを曖昧な概念として教えるのではなく言語項目や側面に分類して使い方を指導していくことがよいと示唆された。

・ルーブリックを用いた分析的な評価と全体的な評価には高い相関関係が見られることもわかった。しかし、印象的な全体的評価を行うよりもルーブリックを用いて分析的な評価をすることで学習者のその後の学習者を助ける手がかりになると考察されている。

・今回思考発話法を用いた質的分析を行ったことでライティングに表れるvoiceの強さは3つの言語側面によって観点別にみることができ、そのうちの内容に関する側面がvoiceストラテジーにおいてはもっとも重要であるということが明らかになった。これらの側面を用いることで、教師も学習者により具体的な指導ができると期待される。

Conclusion

・今回の研究で、これまで曖昧だったvoiceの概念や定義を捉え、その強さをはかる分析的なルーブリックの開発と改訂を行うことで、これからもライティング指導にむけて多くの教育的示唆を与えることができた。

・しかし今後は今回の結果をもとに、ライティングにおけるvoiceの評価についてはさらなる実践的な研究を進めていく必要がある。

＜ディスカッションポイント＞

◎これまでの英語の授業でルーブリックでの評価を受けたことがあるか(特にライティング活動で)

・プレゼンテーションなど英語での発表に関する評価はルーブリックで行われたことが多々あったが、ライティングでは特に経験がないという学生がほとんどであった。ライティングの評価に関しては、教師の直接訂正などによるフィードバックが多かった。

・ライティングのルーブリック評価として経験があるとすれば、全体的な文量や文法事項のチェックリストなど、簡単なルーブリックならば見たことのあるという学生が多かったが、今回の論文で開発されたような分析的で細かいルーブリックを使用したライティング評価を受けてきた学生はほとんどいなかったと言えた。

→ライティング以外の活動でルーブリックに触れている学生は多いため、ライティング評価の際にルーブリックを取り入れても学習者としては抵抗なく活用できるのではないか。また、そのようなルーブリックを公開することによって学習者としてもライティングを学習する上で気をつけることや意識する点などの指標になり得るのではないか。

◎ライティングのフィードバックに関して、形式的な部分だけではなく内容について (今回のvoiceの強さなど) の指摘をどのように受けてきたか

・「主張が弱い」などの指摘は受けたが、それをどのように改善するかなどの指導まではされてきていないという学生が多かった。また、教師は形式的なフィードバックが中心であり、＋α的要素として主張の強さや明瞭さなど内容に関する評価がされていたという学生もいた。また、教師による内容に関わるフィードバックがあったとすれば、文章構成や論理展開などに関するアドバイスなどは受けたという意見もあった。

・教師が形式的な訂正を行うのに対して、ピアフィードバックなど生徒同士で訂正を行うときのほうが内容面に関する指摘が多く上がるのではないかという考察もされた。

→教師フィードバックは形式面を、ピアフィードバックでは内容面をというようにフィードバックの目的をかえて行うことも効果的なのではないか。また、内容については指摘しにくかった教師側としても、今回のような細かい分析的ルーブリックを用いることでより指導しやすくなるのではないだろうか。