第2章「ライティングの評価」
1.はじめに
これまでの和文英訳を中心とした一文単位の作文から、タイトルを与えて一定の長さをつくるという談話作文をさせる指導法が以前に比べ盛んになっている。
2.ライティング能力の定義
Weige(2002)はライティングの能力を大きく2つに大別し、さらにそれぞれの構成要素についても説明している。
1.言語知識
(1)文法的知識
(2)テキストについての知識
(3)機能的知識
(4)社会言語学的知識
Bachman & Palmer (1996) は(3)と(4)をまとめて「語用論的知識」としている。
2.方略的能力
非言語能力であり、コミュニケーションの目的を果たすための高度の実行プロセスであると同時に言語知識と外部の状況や他の個人的特性の知識を結び付けている。
(1)評価
(2)目標設定
(3)立案
(4)実行の統制
日本の学校教育でのライティングの評価については方略的能力を別個にテストしなくてもよいと筆者は主張している。能力を使用した結果が作文の中に反映されているため、言語知識の下位能力である上記の4つの項目を評価すればよい。
ライティングには1文単位の作文と談話レベルの作文の二種類がある。談話レベルの作文のほうが書き手の習熟度の差が大きくなり、下手な書き手は「知識告知モデル」を使用し、熟練した書き手は「知識変形モデル」を使用している。
・知識告知モデル
大抵の子や青少年が使用するモデルで、立案や目標設定などがなく、推敲もない。
主題、作文の形式の知識、それまで書いたテキストという3つの情報に依存する。
・知識変形モデル
獲得に多くの努力を要し、新しい知識を創造するために作文を使う。はじめの段階で問題分析と目標設定を行い、それらは内容問題と修辞的問題の両方を解決する行動を含む。
3.学習指導要領におけるライティング
中学校と高校の学習指導要領を比較している。
3.1平成20年度版中学校学習指導要領
3年間のライティングの目標として、
・和文英訳ではなく自らの発想による自己表現をする能力
・文構造、語法の知識の必要性、語順の必要性
・全体として一貫性のある文章を書くことの必要性
が求められている。
3.2平成21年度版高等学校学習指導要領
「コミュニケーション英語ⅠⅡⅢ」では、それぞれ
・他の技能と組み合わせた4技能の総合的な育成、統合的な活用
・ある程度の長さの文章を論理の一貫性に注意して書く。
・社会生活において活用できるようにする。
ということが求められている。
新しく創設された「英語表現ⅠⅡ」では場面に応じて適切に簡潔な文章を書き、話すことや文章を校正すること、さらに様々な活動を通して文章を書き、その文章を推敲することを求めている。
4.直接テストと間接テスト
ライティングテストは大きく二つに大別できる
直接テスト(direct test)：測定したい技能を実際に被験者に行わせる
e.g.談話作文の能力を測定するために、目的、タイトル、だれを対象とするかを指示文で与えてからエッセイを書かせる
間接テスト(indirect test)：実際に作文を書かせる代わりに語句を並べかえさせて記号で回答させる整序作文
→学習指導要領で求められているのは①
5.量的分析による評価と質的分析による評価
作文を分析する方法も大きく二つに大別できる
量的分析(quantitative analysis)：数値を使った分析
e.g.文法上の正確さについて、Tユニットと誤りのないTユニットを基準とした指標、節と誤りのない節を基準とした指標を用いて分析する
語彙の複雑さについて、総語数(token)に占める異なり語数(word-type)の割合(type-token ratio)、ギロー指数などの指標を用いて分析する
Tユニット＝Hunt1970が提唱した分析する際の測定単位
ギロー指数＝異なり語を総語数の平方根で割った指数
質的分析(qualitative analysis)＝：数値を使わない分析、言葉を用いる。
e.g.エスノグラフィー、アクションリサーチ
6コミュニカティブ・テストの原理と備えるべき条件
6.1コミュニカティブ・テストの原理
コミュニカティブ・テスト＝コミュニケーション能力を測るテスト（以下CT）
CTの5つの特色
言語特性、型、または技能についての知識を同時に測定する総合テスト
測定したい技能そのものを実際に行わせる直接テスト
現実生活をタスクに取り入れるものであって、タスクを与えるときに現実生活を想定している。
将来遭遇するような場面を想定している。
機能を測定するものであり、生徒の言語使用の運用力を測定するものである。
6.2テストが備えるべき3つの条件とCTとの関連
信頼性：得点の安定性
採点者の主観が入りやすいCTでは、客観性を確保する必要がある。
ライティングで信頼性を出す二つの方法
評価者間信頼性：二人の評価者が別々に採点した後その相関を算出する。相関係数が高ければ信頼性が高い。（３人以上の場合はクロンバックアルファ係数を算出する）
評価者内信頼性：評価者が1ヶ月後などに、同一の答案を再度評価する。相関係数が高ければ信頼性が高い。
妥当性：測定すべきものを測定しているか
５つに分けられる（これら５つを単一の概念とみる動きがある）
表面妥当性：テストが測定しようとしているものを的確に測定しているように被験者に見えるか
内容妥当性：テスト内容が測定すべき内容の範囲を表しているか
e.g.関係代名詞のテスト→主格、所有格、目的格すべてを網羅する内容であるか
構成概念妥当性：テストが測定すべき能力の下位能力を的確に測定しているか
e.g.300語程度の議論文が書くテスト→構成、文法的正確さ、内容、流暢さの4つを下位能力とみなして、これら4つをもとに採点しているか
併存的妥当性：英検やTOFELなどの外部基準のテストとの相関が高いか
テストがどの程度、意図した運用力を予測できるか
注意事項：現在単一の談話作文の評価の妥当性に疑問が呈されている。単一では受験者が使うことが期待されるいろいろな種類のライティングを表すことができないため、複数の主題でライティングを行うことが求められる。
実用性：テストが、作成、実施、採点および解釈をする際に実用的であるか
これら3つの要素をどのように配慮すべきかの手順と例
構成概念（何を測るべきか）を定める→高校生の談話作文能力を測るため、80語の談話作文を書かせる。
この際流暢さは語数の点で、正確さは文法的誤りの数の点で、文法的複雑さはTユニットの点で、内容は求めている議論がいくつか書けたかの数の点で、それぞれ3または5の段階の数値に換算して表すことにする。さらに1～5の総合評価も付ける。
二人以上の教師が採点し、相関係数を計算して評価者間信頼性をだす。
上の妥当性、信頼性を実用性の観点からどの程度実施できるか検討する。
e.g.学期末の期末テストで、「○○のとき、○○（読み手）を対象として、タイトルを○○として80語のエッセイを書きなさい」という出題をする。
7. ライティングの評価基準の設定
・測定…計画的で明確な手順と規則に従って生徒の能力、適性、動機を数量化
・テスト…生徒の能力、適性、動機の数量化のために行動のサンプルを引き出す方法
・評価…測定した後に価値を判断すること
7.1 目標基準準拠テストと集団基準準拠テスト
・目標基準準拠テスト（CRT） タスクを行う生徒の個人の能力に焦点が置かれる。「絶対評価」とも呼ばれ、達成度判定テストや診断テストなどに使われる。
・集団基準準拠テスト（NRT）被験者の能力が集団の中においてどの位置にあるかを評価する。テスト実施によって被験者と集団を比較して多数の被験者を標準化することを目的としている。「相対評価」とも呼ばれ、熟達度判定テストやクラス分けテストに使われる。
→NRTとCRTは互いに排除するものではなく、相互補完的なものであるため、目的に応じた使い分けが重要。
7.2 総合的評価・分析的評価と評価方法
■総合的評価
「受験者の言語表現にただ1つの包括的な評価を与えるために、ただ1つの総合的な尺度を用いる」（Brown, 1996, p.71）
[評価方法] 1つの問題を10点満点で評価するとき、全体的な印象で1〜10の間で1つだけ点数をつける。自分の学校で総合的評価を行う場合、それぞれのレベルの説明部分を決めておくことが必要であり、これが評価基準となる。また、このレベル説明にぴったりあてはまる実際の生徒の答案例をレベルごとに1つか2つずつ用意しておくことも必要。
例）ACFTL Guidelines
○メリット 採点時間が短くてすむ
○デメリット 様々な評価項目をすべて総合した結果、印象によって1つの評点をつけるため、どれか一つの評価項目に強く影響をうける恐れがある。また、字のきれいさに左右されることもある。
■分析的評価
「受験者の言語表現の様々な側面を別々に評価する」（Brown, 1996, p.71）
[評価方法] 作文を採点する際にいくつかの項目に分けて、それぞれに尺度の基準を設定して採点する。分析項目は受験者の知識・技能のどの分野を測ろうとしているのかを表しており、レベルの中の点数の説明を書く事で、テスト作成者の意図を明示することができる。また、この説明はテスト採点後にテストの妥当性を検証することにも貢献している。
例）Canadian Language Benchmarks
○メリット 細かく分けて評価するため、教師経験が少ない人にとっては評価者訓練となる。また、一人一人にどの評価項目が弱いかを知らせることができるため、次回に繋げる動機を与えることができる。
○デメリット 総合的評価に比べて採点に時間がかかる。また、いくつかの評価項目についてそれぞれ評価しても、全体的にその作品が優れているかどうかという全体像が見えてこない。2人の生徒の答案を細かい評価項目で採点し、それらの合計点を計算してみても、その合計点がそれぞれの生徒の総合的評価と合わない場合があるなど。
→総合的評価、分析的評価どちらの採点方法をとるかは、評価の目的を考えて決めるのがよい。
7.3 ポートフォリオ評価
ポートフォリオ評価とは…授業担当の教師が定期的に生徒に作文を書かせ、草稿にコメントをつけ、推敲させ、完成作文を提出させ、評価して返却するというサイクルを長期にわたり続けるというもの。
→何回も作文ができるため、一体生徒にどの程度の作文能力があるのか、また、推敲の過程でどの程度外部の人から助力を得たのかを確定することが不可能ではないかという指摘。
Murphy&Yancey(2008)によるポートフォリオの良い点
ライティングを繰り返しのある過程として扱うことができ、推敲のために戻れるので、良い指導は評価に反映できる。
いろいろなジャンルを抽出することができるため評価の構成概念を広げられる。
生徒に自己の学習を評価することに対して責任をとらせることができる。
指導を直接的に関連する自然で真正な場面で作品を収集できる。
・ポートフォリオはそれぞれの目的によって選択方法や提出物などが大きく異なる。
・生徒と教師共に労力と時間がかかり、問題も多いが、将来日本の中学校/高校のライティング指導において実現の可能性を探るべき革新的な評価方法とも言える。
８．フィードバックの種類とその効果
8.1 フィードバックの種類
・フィードバック…「学習者が学習タスクの成功について教師または他の学習者から受けるコメントまたは情報」
・EFL作文の主流とされているライティングのプロセス・アプローチ実施のためには、フィードバックが不可欠となる。
・フィードバックには複数の種類がある。
仲間同士のフィードバック(peer feedback)
教師が誤りを指摘し生徒と話し合いをする(conferencing)
教師からの筆記によるフィードバック
コメントをテープに吹き込んだもの
教師からのパソコンを通しての返答 など
→作文の目的に応じて、教師の負担やその効果を考えて実施すべき。
8.2 フィードバックの効果
Duppenthaler(2004)の実験…EFL英文日記を書くのに最も効果のあるフィードバックの調査
第１グループ…日記の内容面について実験者から意味中心のフィードバックを与える
第２グループ…”Well done”などの励ましのコメントだけを与える
第３グループ…すべての誤りを赤インクで訂正するが推敲の要求をつけない
→第１グループは量(総語数)において他の２グループよりも有意に多かった。
→正確さ(誤り無し)および質(節数)の点では、第３グループ、第１グループ、第２グループの順で有意に高かった。
→第２グループは３グループの中で最もフィードバックの効果が低い。
Casanave(2004)による引用
→第１グループ…日記を書く課題を最も楽しんだ。
→第２グループ…毎週日記が返却されることを他の２グループ程楽しみにしていなかった。
○ライティングを長期的・定期的に練習することで量・質の向上が見込める。
○内容についての特定のコメントはL2ライティングに対する肯定的な態度を伸ばす。
※ただ励ましのコメントだけでは効果はない。
Ashwell(2000)の研究…フィードバックにおける形式と内容の重きの置き方とその効果を調査
グループ(1)形式の前に内容
３回の草稿を書かせ分析的評価で測る３回の草稿を書かせ分析的評価で測るグループ(2)内容の前に形式
グループ(3)内容と形式を同時に
グループ(4)フィードバック皆無
→グループ(1)～(3)…正確さと内容の得点において向上した。
→グループ(4)…内容の得点は向上したが正確さの得点が下降した。
○ライティングと教師のコメントについての関係は多くの研究が必要。
小室(2001)…３種類のフィードバックの効果について調査
「スタンプ」
「下線」…添削せずに誤りの箇所に下線を引く
「添削」…誤りの訂正を記入する
→添削のような教師の労力の最もかかる直接訂正はむしろ逆効果の可能性がある。
○添削ではなくただ下線を引くだけでもライティングの改善に効果がある。
○誤りを減らすにはスタンプだけでも下線と同じ効果がある。
8.3 フィードバックの方法
文章全体の推敲…論文または論点、文章の構造または構成、展開または証拠、
↓ 適切さ及び調子の一貫性、相手及び目的に対する適切さ
文単位の推敲 …言葉使い、統語、文法的構造、句読点、綴り
○文法的誤りは生徒自身に気づかせることが必要である。
グローバル・エラー…コミュニケーションに支障をきたす大きな誤り(接続詞や時制など)
ローカル・エラー…コミュニケーションに支障をきたさない小さな誤り(綴りや前置詞など)
→①誤りの部分に下線を引く
→②略語を使って誤りの種類を生徒に示す
→③生徒同士で作文を交換して誤りを指摘させる…文法能力が高い生徒同士の場合に可能
8.4 流暢さと正確さのどちらを優先するべきか
ライティングにおける流暢さと正確さのバランスは重要な問題である。
→段階ごとに優先の置き方を変えると良い。
１・２文レベルでは正確さ、４～６文レベルの日記文では正確さから次第に流暢さ、談話レベルのエッセイでは最初は流暢さに、次第に文法項目を絞って正確さに重きをおく。
9. おわりに
日本においてライティング評価は未開拓の分野である。特に談話作文については教師側の経験が少ないこと、コストがかかることなどの問題があるが、今後の研究に期待されている。