|
|
|
| 2019年度 応用言語学特講Ⅰa |
第５章
【Evaluative
Criteria(評価基準)】
MMRの研究において評価基準を決めることは難しい。そんな中で一般論ともいえる総論がある
validity,reliability
… MMRの中の質的部分を評価するのに使える
credibility,dependability
… MMRの中の量的部分を評価するのに使える
だが、quality
of inferencesを評価するにはより統合されたアプローチが必要
そして、より良い結果を得るためにはより統合された基準が必要
Validity→inference quality
Credibility→legitimation とそれそれ名付けた
Tashakkori&Teddlie’s
の枠組み
※メタ推論…得られる情報より高次のものから推論をすること
メタ推論は２つの側面から評価される
・design
quality … design suitability(Research questionに対して妥当性のあるデザインか
Ex)アンケートとインタビューによるL2ライティングの研究
・interpretive
rigor … interpretive consistency(推論が結果とどれ程一致しているか、また、それぞれの推論がどれ程一貫性があるか)やtheoretical consistency(推論がどの程度関連する説と一致するか)やinterpretive agreement(ほかの研究者や被験者が結論に賛同してくれるかどうか)やinterpretive distinctiveness(結論がもっともらしく、他の結論を導き出すことはできないようになってるか)やintegrative efficacy(質的・量的データを基にした推論が、どの程度メタ推論に統合されているか)
Ex)結論が全く違ったとすると、推論を見直したり、研究をやり直したりしなくてはならない
MMRの目的は、量的手法と質的手法の長所と短所の確立すること という前提
したがってMMRはこの目的をいかに達成できてるかに注目すべき
《focal
study》
Neumann,H(2014)
第二言語のライティングについての、文法能力の評価
《Background》
クラスレベルにおいて教師がどのように文法能力を評価しているかは重要である
本研究では生徒と教師の両方の立場から調査をおこなった
《Research
questions》
1.文法に点数を付ける時、教師はなんの能力に注意を払うのか
2.文法に点数を付ける時、生徒はどの点を注視されているかについての知識
3.教師の文法の評価基準が、彼らのライティングや学習に与える影響に気づいていたか
《Method》
カナダの第二言語として英語のライティングの2クラス
33人の生徒とそれぞれのクラスの教師
量的部分…生徒のエッセイの正確性と複雑性を調査
それを教師の付けた点数と比較
質的部分…33人のアンケート、8人の生徒と2人の教師へのインタビュー
《Results》
量的部分…文法の正確性と点数には強い相関があった。つまり、点数を決める要素はミスの数である。
質的部分…「ミスを減らすこと」というのが生徒にも教師にも強く表れている。
⇒複雑な文や構造を作ろうとすることを避けさせてしまっている。
生徒の将来的な文法の成長を阻害している？
【Discussion
of a Mixed Methods Study: Neumann(2014)】
本人曰く、この研究の目的は「L2ライティングにおいて評価される文法」を調査することであった
つまり、文法の正確性と複雑性をどのようにバランスを取っているのか
3段階によってデータが集められ、それぞれ分析された
《1段階目》エッセイのデータを集め、教師の付けた点数と比較する
《2段階目》生徒に着目。33人へのアンケートと8人へのインタビュー。いずれも教師の文法への評価基準に対しての考え、そしてライティングの時に意識していることを聞いた。
《3段階目》2人の教師に文法の評価基準をインタビュー。
Research
questionsについて
RQ1…1人の教師は100wordsのうち何個のミスを犯したかで評価をしている
RQ2,3…生徒は文法の正確性が点数に影響を及ぼすと考えている。それによって、複雑な文章を書くというリスクを避けている。
インタビューのサンプル数が少なかったので、生徒の総意を正確に表せているとは言い難い。
質的部分の評価が少し複雑だった(手順が包括的で少し情報も少なかった)。
インタビュー結果については具体的なデータが記されていなかった。
⇒結論の信頼性や、メタ推論の質を下げてしまった。
量的研究から得られた結果はあまり明確ではなかった。
⇒もう少し質的研究に重点を置く というように修正ができる。
文法の正確性と複雑性はトレードオフの関係にあるという事実は今後の評価基準に影響を与える。
より深い考察をするためには、パラダイム・世界観・基準などの異なる要素をどのように組み合わせたりバランスを取るかということが大事になってくる。
この研究はL2ライティングをするにあたってMMRのよい例を提供してくれた。
質的・量的といった二分法を超える研究デザインの可能性も与えてくれた。
【Discussion
Point】
日本国内において、文法の正確さと複雑さとのバランスをどのようにとって評価すべきか