![]() |
2017年度 異文化言語教育評価論 |
第6章 量的研究の進め方
(pp. 153?175)
浦野他. (2016). 『はじめての英語教育研究 ?
押さえておきたいコツとポイント』 東京, 日本: 研究社.
4.2 目の前のデータからより大きなものを推測する
■ 前節で述べたように、量的なデータの特徴を確認するにはデータの中心とばらつきを見るとよい。
→記述統計…目の前の量的データの特徴をいくつかの数値でまとめたもの。
■一方で量的データを扱う目的の1つに結果の一般化があり、収集されたデータの特徴が目の前の学習者だけでなく、他の学習者にも当てはまるかを検討することも重要。
→推測統計…目の前のデータ
(標本) を基に、その結果がより大きな文脈 (母集団) にも当てはまるかどうかを調べるための統計。
■推測統計の基本的な考え方は次の通り。
・研究課題を決めるときに想定される母集団についてもあわせて考える。
・本来であれば母集団すべてを対象に行うのが一番正確だが、大規模なものはそれが不可能なので、小規模な対象からデータを集め、その結果が母集団にも当てはまるかどうかを推測するという形が採られる。
■図6.6は推測統計を用いた母集団の推定過程を図示したもの。
■このように推測統計は母集団からランダムに標本を抽出して調査を行い、その結果を統計的に分析することで母集団がどのようなものかを推測するプロセス。
■推測統計には以下の留意点がある。
・誤差を考慮した上で母集団の性質を推測するものであること。
誤差…標本ごとに見られるデータのばらつき。
・母集団から標本を無作為に抽出しているという前提で誤差の推定を行っていること。英語教育研究で
は教室などのあらかじめ存在するグループを対象にすることが多いため、無作為抽出が行われていない場合にも容認されているが、本来は無作為抽出が必要であることは知っておくべき。
4.2.1 関連性の強さを推測する
■ 関連性の強さを表す指標の1つに相関がある。
相関…通常0から1の間の数値 (相関係数) で表され、1に近ければ相関が強く、0に近いほど相関が弱い。
■図6.8は相関を表す指標の1つである、ピアソンの相関係数rの値とデータの分布の関係を表したもの。
■2つの相関が高い場合は、一方の変数が分かっていれば以下のような式を使ってもう一方の変数を予測することができる。
Y = aX + b
■このように一方の変数の数値からもう一方を予測する分析を単回帰分析 (simple regression analysis) という。aは回帰係数、Xは1つの変数、bは切片と呼ばれる値を指している。
■回帰係数には、単回帰分析だけでなく2つ以上の変数から1つの変数を予測する重回帰分析
(multiple regression analysis) もあり、以下のような式で表すことが可能。
Y = a1X1 + a2X2 + a3X3…
+ b
■変数同士の関係の強さを利用した分析に、因子分析 (factor analysis) がある。因子分析は複数の変数間の相関がそれぞれどのようになっているかを分析し、互いに関係の強い変数同士をグループにまとめ、それぞれのグループの背後にある因子 (factor) を見つけだす手法。
■それぞれの特徴をまとめたのが表6.7。
4.2.2 差の有無を推測する
■ 量的データの分析には変数間の差の大きさを対象とするものがある。差の大きさの比較は記述統計の時と同じようにデータの中心 (例:平均値) とばらつき (例:標準偏差) を用いて計算する。
■ 基本的には、標本の間に見られる差は母集団にも見られるものなのか、それとも標本抽出で生じる誤差の範囲内なのかを判定する分析。
■ 差の有無を比較するとき、異なったグループを比較する場合と同じグループ内での比較を行う場合とでは分析手法が異なるので、それぞれについて見ていく。
(1) グループ間の差
■ 2つのグループ間の平均値の差を扱う推測統計には、対応のないt検定 (independent-samples
t-test) を用いるのが一般的。
■ 3つ以上のグループ間の差の有意性を推測する場合には被験者間計画 (between-subjects design) の一要因分散分析 (one-way analysis of variance) を用いる。
(2) グループ内の差
■ 同じグループで収集した2回のデータを比較するときには対応のあるt検定 (paired-samples
t-test) を使用する。
■ 同じグループから3回以上のデータを収集した場合には、被験者内計画 (within-subjects design) の一要因分散分析を用いる。
(3) 混合計画
■ 被験者間計画または被験者内計画を用いて因果関係を検証するのは容易ではない。そこで用いられるのが混合計画。
■ 混合計画とは、被験者間計画と被験者内計画を組み合わせたもの。図6.9の場合は二要因混合計画分散分析 (two-way mixed-design ANOVA) で分析を行う。
■ 二要因混合計画分散分析では、2つの主効果 (main
effects) と交互作用 (interaction)
が産出される。
■ 交互作用とは2つの要因の組み合わせについての指標であり、交互作用が有意な場合は2つの指導法 (または指導の有無) が2つのグループのプレテスト・ポストテストの成績の変化に異なった影響を与えたということを示す (図6.10参照)。
■ 図6.11は差の有無を検討する際に使用する推測統計の例をまとめたもの。
4.2.3 パラメトリック検定とノンパラメトリック検定
■ ここまで見てきた分析は、平均値と標準偏差、標本サイズ (人数) の3種類の数値を使って計算されるものである。
→パラメトリック検定…データの要約を平均値や標準偏差を用いて行う統計。母集団が正規分布であることを仮定して分析を行う。
→ノンパラメトリック検定…正規分布をしていないデータを扱う場合に使用する。データを順位や頻度といった形に変換して分析を行う。
5. どのようにデータを解釈するのか
5.1 データの可視化
5.1.1 様々な可視化の方法
(1) 棒グラフ
■ ある時点における平均値などの代表値が記載される (図6.13参照)。
→ある時点におけるグループ間のデータの比較や、同一グループ内での時間の変化に伴うテスト間のデータの比較に向いている。
■棒グラフは様々な分野で頻繁に使われるグラフであり、エクセルなどの表計算ソフトでも手軽に作成が可能。
■しかし棒グラフに記載されるデータは、一般的に平均値などの1つの代表値のみであり、データのばらつき具合などは可視化されておらず、図から読み取れる情報量は決して多いとは言えない。
(2) ヒストグラム
■ ヒストグラム (histogram;
度数分布図) では度数分布が視覚的に表されている (図6.14参照)。
→データの分布の形状が視覚化されるため、各データの分布の特徴を把握しやすい。
■平均値や中央値などの代表値のデータは視覚化されないことに注意する必要がある。
(3) 箱ひげ図
■ 一般的な箱ひげ図 (box
plot) では、データの最小値 (箱ひげ図の下限)、第一四分位点 (箱の下辺)、中央値・第二四分位点 (箱の中の線)、 第三四分位点 (箱の上辺)、最大値 (箱ひげ図の上限)が表されている (図6.15参照)。
四分位点…データを大きさ順に並べた時に、四等分する位置の値。
■箱ひげ図は、上記の値に加えて、データの分布の範囲が視覚されており、情報量の多い図である。
→差の比較を行うときは、棒グラフよりも箱ひげ図の使用が推奨されている。
(4) 散布図
■ 散布図 (scatter
plot) は2つの変数の対応関係を表した図
(図6.16参照)。
→相関を表すためによく使われるが、それだけでなく2つの変数の関係を表すときに用いることが推奨されている。
■3つ以上の変数を扱う場合には、3つの変数の関係を表す散布図がそれぞれ記載された、散布図行列と呼ばれる図の作成が推奨されている。
(5) 蜂蜜図
■ 蜂蜜図 (beeswarm
plot) はデータの範囲が視覚されているという点では箱ひげ図と似ているが、個別
のデータが全て提示されているという点で異なっている (図6.17参照)。
→データの個々の値をもってばらつきの度合いを可視化することができる。
■蜂蜜図は平均値や中央値など、要約されたデータの値は示されないので、より情報量の多い図にするために箱ひげ図と蜂蜜図を合わせて図示する方法もある。
5.1.2 データを可視化する際の注意点
■ どのような可視化が効果的かは分析するデータによって異なるが、情報量が多くなるように心がけるべき。
■ 図の多くはエクセルでも描くことができるが、細部の設定には注意する必要がある。Rを使えば、優れた図を比較的簡単に作図できる。
5.2 効果量
■ 効果量は「効果の大きさをあらわす統計的な指標」(大久保・岡田, 2012, p.
44) と定義される。
■ 効果量には差の大きさを記述するd族の効果量と、関係の大きさについて記述するr族の効果量がある。
■ 近年ではt検定などの推測統計の分析結果に加えて、効果量の産出と明記の重要性が強調されるようになってきた。
5.2.1 効果量を算出する必要性
■ t検定や分散分析などの推測統計によって得られる結果は標本サイズの影響を受ける。推測統計における有意差の判定にp値が用いられるが、これは標本サイズが大きくなればなるほど小さくなり、有意差が得られやすくなるため、その影響を受けない指標が必要になる。
5.2.2 効果量の特性
■ d族の効果量の1つにGlassのΔ (でるた) と呼ばれる指標があり、以下の計算式で求められる。
■GlassのΔは平均値と標準偏差から割った値なので標本サイズの影響を受けない。
→このように効果量は標本サイズは標本サイズの影響を受けない。
■測定の単位が異なる複数の研究間の差を比較することもできる。
■効果量には様々なものがあり、どのようなときにどのような効果量を算出するべきかを知る必要がある。水本・竹内 (2008) はこの点についてのガイドラインを提示しており、参考になる。
5.3 信頼区間
5.3.1 信頼区間の必要性
■ 推測統計では、調査したい母集団について標本となるデータを収集し、収集したデータから母集団について推測する。
■ そのため、推定される母集団の値 (母数) は収集されるデータの値の影響を強く受ける。この影響を避けるために行われるのが区間推定。
区間推定…母集団をデータの1つの点ではなく、ある程度の幅、つまり区間で推定する方法。
5.3.2 信頼区間の基本的な算出方法
■ 信頼区間は上記の区間推定を踏まえたもので、「あらかじめ定められた確率で母数を含む区間」 (大久保・岡田, 2012. P.
118) と定義される。
■ 「あらかじめ定められた確率」は信頼水準と呼ばれ、多くの場合95%が用いられる。そして「95%の確立で母数を含む区間」は信頼区間と呼ばれる。
■ 信頼区間は平均値などの母数の推定値に誤差の範囲を考慮して算出される。区間を推定するために、区間の上限値と下限値が算出される点が特徴的。
■ 効果量同様、信頼区間の求め方も1つではなく、どのようなときにどのような方法で信頼区間を算
出するべきかを知る必要がある。これは大久保・岡田 (2012) が参考になる。
5.4 結果をどのように考察するのか
(1) 仮説が検証されたかどうかを考える
■ 得られた結果を整理し、設定された仮説が支持されたかどうかを明確にする。また、仮説が支持された理由、または支持されなかった理由も検討する。
(2) 先行研究の知見と得られた結果を比較検討する
■ 自身の研究で得られた結果を先行研究と比較し、類似点や相違点を当該分野の理論的背景と照らし合わせて検討する。
(3) 結果から導き出すことのできる知見を考える
■ 得られた結果から、どのような知見が導き出せるかについて検討する。この際、過剰な一般化は避け、理論の飛躍がないように注意する必要がある。
■ 研究から導き出せる知見と同時に、自身が今回行った研究では明らかになっていない点についても検討することで今後の課題が明確化される。
(4) 研究の過程でバイアスがなかったかを考える
■ 研究が行われた過程を振り返り、バイアスとなるようなことはなかったかを考える。
■ 考えられるバイアスについてきちんと把握し、研究の限界として明記するとよい。