|
|
|
| 2017年度 異文化言語教育評価論 |
点?
■大規模調査をしたいときは量的研究にしておけばいいの？
■量的研究ではとりあえず学生にテストを実施しておけばいいの？
■質問紙やテストはどうやって作ればいいの？
■集めたデータはどう処理をすればいいの？
■量的研究ではどんなデータでも一般化していいの？(4.2まで)
1.
どのようなときに量的研究を選択するのか
■量的研究の目的は、数値化されたデータを分析して客観的で一般化された知見を生み出すことである。そのためには、研究のあらゆる段階で主観的な要素をできるだけ取り除き、一定の方法に沿ってデータを収集したり分析したりする必要がある。
1.1.
事象の全体的な特徴や傾向について知る
■量的研究は、多くのサンプルからデータを収集し、統計処理によって集団の傾向を調査することに向いている。故に、事象の全体的な特徴や傾向について知るために、量的研究が用いられることがある。
1.2.
関連性を調査する
■「コミュニケーションに対する不安と英語の習熟度にはどのような関係があるか」や、「学習者の英語学習に対する動機づけはどのような要素から構成されているのか」のように、事象間の関係を調べたいときや、その関係を整理したいときにも量的研究は使用される。
1.3.
事象の差異や因果関係を捉える
■伊達 (2015)は、タスクを繰り返す練習をおこなった場合、学習者の発話の流暢さと正確さに変化が見られるかという研究課題を設定している。このように指導法の効果を検討したり、グループ間の差の有無や大きさを検討するときにも量的研究が使用される。
2.
どのように研究をデザインするのか
■量的研究のデザインは、研究対象者に手を加えること(介入)なくデータを収集する調査研究(survey study)と、一定の基準でグループ分けを行ったり、指導法を変えたりといった形で研究対象者に何らかの働きかけを行う実験研究(experimental study)または介入研究(intervention
study)の2つに分けられる。
2.1.
調査研究
2.2.
実験研究
3.
どのようにデータを収集するのか
■研究をする上で、構成概念(construct)と呼ばれるものが重要となる。例えば、リスニング力を調べようとするときには、「リスニング力」が1つの構成概念となる。
■このような構成概念は直接観察できないものであるため、構成概念を観察可能なものにする必要がある。これを操作化(operationalization)と呼び、操作化された定義のことを操作的定義という。
■例えば、前節の例では、リスニング力を「パッセージを聞き、その内容に関する事実質問に回答できる力」とする定義に基づき、リスニング力を「20問の多肢選択式のリスニングテストの得点」というように操作化した。得点は、回答者によって異なる変数であり、具体的で操作可能なデータである。
3.1.
質問紙
■質問紙は質問を示し、回答者の答えを求めるものである。回答方法には、自由記述形式や選択形式がある。
■質問紙に含められるのは、1)研究対象者情報(年齢、性)、言語学習歴、言語経験などの事実に関する項目、2) 行為、ライフスタイル、習慣などの行動に関する項目、3)態度、意見、信念などの態度に関する3種類の質問項目である (Dornyei, 2003, pp.8-9)。
■一度に大量のデータを得ることができるため、英語教育研究においてよく用いられるデータ収集法の1つである (Dornyei, 2003, p.1; Nunan, 1992,
p.143)。しかしながら、データの妥当性や信頼性を確保するのは容易ではない。
■妥当性を高めるための第一歩として、先行研究に基づき、構成概念の定義を十分に吟味し、質問項目の内容が測定したいことを測定できているのかを検討することが必要である。
■信頼性を高めるための第一のステップは、1つの構成概念に関する質問項目数を多くすることである。また、質問項目を作成する際には、できるだけ多種多様な表現を用いると良いであろう。そして信頼性係数(クロンバックαなどの内的一貫性を示す指標)を示す。
3.2.
テスト
■言語技能や知識を調べたいときにはテストを用いる。語彙知識、文法知識や、リーディング・ライティングなどの4技能をどのように測定したら良いかについてはそれぞれの専門書を確認すること。
■Cambridge University PressはAssessingシリーズの専門書を発行しており、その中でリーディングを担当したAlderson
(2000)は、テストの種類として様々なものをあげている。
■テストが異なれば、異なる知識や力を測定している可能性がある。妥当性のあるテストにするためにも、テストを用いる際は、構成概念を十分に吟味し、操作化を行い、選んだテスト方法が適切か確認する。
■テストの信頼性を高めるためには、クロンバックのαなどの内的一貫性の指標を用いること。スピーキングやライティングのパフォーマンステストを行う際には、採点基準の明確化や採点の練習の実施などを行うこと。
4.
どのようにデータを分析するのか
■統計処理ソフトが発展し、簡単に統計分析ができるようになった。その分、誤った分析方法を選択し、誤った解釈を報告している研究を多く見るようになった。
■実際にデータ分析を行う前に、どのような目的でどのような分析を行うのかと、それぞれの分析がどういう仕組みなのかについて理解しておくことはとても大切である。
4.1.
目の前にあるデータを記述する
4.1.1.
データを意味のある形でまとめるということ
■質問紙やテストなどでデータを収集したら、その結果を何らかの形でまとめる必要がある。ゆえに表6.2のように表にするとわかりやすくなるが、これを使用してクラスを比較するのは難しい。
4.1.2.
中心とばらつき
■2つのクラスを比較するためには、それぞれのクラスの平均点(値)を計算するのが一般的である(表6.3)。
■しかし、平均値のような代表値のみを使用して2つのグループを比較するのは危険である。
■A組とB組が受けたテストと同様のテストをC組とD組が受けたとする。表6.3と表6.5を比較してみると、A組とB組の平均値の差とC組とD組の平均値の差は同じである。しかしながら、データを図で表すと図6.4と図6.5のようにデータの分布の形状が異なっている。
■平均値の差が同じであっても、データの重なり具合には違いがある。
■分布のばらつきの度合いは、数値で表すこともできる。代表的な指標には、分散や標準誤差があり、数値が大きくなれば大きくなるほど代表値からのばらつきが大きいことを示している。
■このように、得点の比較には、代表値だけではなく標準誤差のような分布の指標も合わせて検討することが非常に大切である。