研究会トップに戻る

SEM: 2009/4/9　2009/4/23　2009/5/14　2009/6/11　2009/7/30　2009/8/20　
MANOVA & ANCOVA : 2009/9/17　2009/10/29　2009/11/12　2009/12/17　2009/2/4　
Discriminant Analysis: 2010/2/18　2010/3/18　2010/5/13　2010/5/27
Multiple Regression:　2010/6/10　2010/6/24　2010/7/15　2010/7/22　2010/8/26　2010/9/30
Survival Analysis:　2010/10/7　2010/11/4　2010/12/9　2011/1/13
Data Screening:　2011/1/27　2011/2/9

Tabachnick, B. G., & Fidell, L. S. (2007). Using multivariate statistics (5th ed). Boston: Pearson Education .

Structural Equation Modeling (SEM)

2009/4/9

Chapter 14 Structural Equation Modeling (pp.676-685)
14.1 General Purpose and Description (pp. 676-680)
■ 構造方程式モデリング(structural equation modeling: SEM)とは単一の、もしくは複数の従属変数(DVs)･独立変数(IVs)間の関係性を求める統計的手法であり、時として｢パス解析(path analysis)｣や｢検証的因子分析(confirmatory factor analysis: EFA)｣が同義として取り扱われることもある。
■ SEMとは、いわば、因子間の重回帰分析をさらに発展させたものと言える(e.g., EFA+重回帰分析; see Figure 14.1 & 14.2, p. 677)。
■ Figure 14.1 & 14.2はパスダイアグラム(研究者が考えた変数間の仮説を図式化)の1例であり、SEMを行う際に根本となるものである。
■ 変数は観測変数(四角: measured (observed) variables)と潜在変数(丸もしくは楕円: latent variables, factors, constructs)に区別され、関係性は矢印(path)で表される(潜在変数は2本以上のパスが他の変数へ伸びている必要がある)。
■ パス図にはDVs(パスを受ける側)とIVs(パスを向ける側)が含まれるが、DVsには”E”や”D”が付いていることに注意する必要がある。重回帰分析と同様にある変数によってある変数が完璧に予測されるということは無く、必ず誤差や残差が考慮されるのであり、これらの”E”や”D”はそれらを表す。
■ また、観測変数と潜在変数の関係を測定モデル(measurement model), 潜在変数間の関係を構造モデル(structural model)として表現される。
■ ここまでの事例は関係性のみに焦点を当てたものであったが、SEMにおいても平均やその差を考慮した検定が可能である。
■ また、SEMはシンプルな実験においてもより複雑な関係性を示すことが可能である。
■ 例えばFigure 14.3のパスaはANOVAでも求めることができる。しかし、treatmentとexam scoreの間を介在(mediating)する変数motivationとの関係性はANOVAなどでは求めることができない。
■ このように直接的な効果のみならず、間接効果(indirect effect)を分析に含めることができるのもSEMの特徴であると言える。
■ ある仮説を具現化したモデルを詳述していくことからSEMは探索的というよりは検証的であり、モデルを見積もる、評価する、修正することが分析の目標となる。
■ アドバンテージとしては測定の誤差が取り除かれていること、そして複雑な関係性を検証する場合、SEMが最も適していると言えることである(重回帰分析では従属変数は1つのみ)。

14.2 Kinds of Research Questions (pp. 680-682)
■ SEMにおける主題とは｢仮定したモデルは標本共分散行列に一貫した母共分散行列を算出するのか｣であるが、モデルが検証された後、そのモデルに関した様々な問題を解決する必要がある。

14.2.1 Adequacy of the Model (14.4.5, 14.5.3へ)
■ パラメータ(パス係数やIVｓの分散、共分散)が推定され母共分散行列が算出される。もしモデルが適切ならば標本共分散行列に近い行列となるが、この｢近似性｣はχ二乗値や適合度指数によって表される。
14.2.2 Testing Theory (14.5.4.1へ)
■ モデルごとに独自の共分散行列が算出されるが、どのモデルが標本共分散行列に最も近い母共分散行列を算出するのか。
14.2.3 Amount of Variance in the Variables Accounted for by the Factors (14.5.5へ)
■ 従属変数の分散がどの程度独立変数によって説明されるのか?
14.2.4 Reliability of the Indicators (14.5.5へ)
■ 観測変数はどの程度信頼できるものなのか?SEMにおいては信頼性や内部一貫性が算出される。
14.2.5 Parameter Estimates (14.4.5, 14.6.1.3, 14.6.2.4へ)
■ パラメータの推定はSEMにおいては重要であるが、パス係数とは?係数はゼロとは有意に異なるのか?沢山ある中で重要なものは？パラメータの推定値はモデル間で比較されることもある。
14.2.6 Intervening Variables (14.6.2)
■ 独立変数は従属変数を直接影響するのか、それとも他の要因を介在するのか?
14. 2.7 Group Differences (14.5.8)
■ 例えば調査対象とする複数のグループは共分散行列や回帰係数、平均が異なるのか?仮定したモデルはどのグループにも問題なく当てはまるのか？
14.2.8 Longitudinal Differences
■ SEMにおいては人の成長や時間の経過に対応した分析も可能である。例えば時間的な経過は年でも日でもマイクロ秒でも対応できるが、本章ではこの分析は取り扱わない。
14.2.9 Multilevel Modeling
■ 入れ子式(学校の中の教室の中の生徒)に測定された独立変数は、それと同じ、もしくは異なるレベルで従属変数を予測可能である。例えばある生徒群の教室で行われた教育的介入の効果を、生徒、教室、学校など異なるレベルの特性から検証が可能である。

14.3　Limitations to Structural Equation Modeling
14.3.1 Theoretical Issues
■ SEMとは、ある理論を検証する確認的手法であるため、他の統計手法とは異なり事前知識や仮説などにより念入りな準備が必要である。
■ モデル検証後の確認プロセスやより良い適合度を求めるための修正方法には様々なものがあるが、第一種の誤りを防ぐためには適切な手続きを踏まなくてはならない。
■ また、適切な手順を取らない探索的な検証や、｢因果モデル｣という言葉を不用意に用いてしまうことから(因果は統計的ではなくデザイン的な問題)、批判されることも多々ある。
■ また、SEMはnonexperimental,もしくはcorrelational designと思われがちである。
■ いずれにしても一般化する際には十分な注意が必要なのは他の統計手法と変わりは無い。

14.3.2 Practical Issues
14.3.2.1 Sample Size and Missing Data
■ 共分散はサンプルのサイズが小さすぎると安定せず、パラメータの推定値や適合度指数もサンプルサイズには非常に敏感である。しかし近年では比較的小さなサンプルサイズでも分析が可能となる方法が提唱されているようである。
■ また、欠損値に対しても十分に注意すべきであるが、SEMでは欠損値を考慮したモデルが可能であり、また、欠損値を推定してくれるソフトウェアも存在する。

14.3.2.2 Multivariate Normality and Outliers
■ SEMは多変量正規分布を仮定しているため、外れ値や尖度･歪度を十分に検証する必要がある。正規性が保たれない場合の修正法も存在するが、変数によっては正規性が望めないものも存在するため、その場合は適切な分析法を選択する必要がある。

14.3.2.3 Linearity
■ SEMは線形的な関係性のみを取り扱う。しかし非線形性の関係性が仮定される場合は平均値を二乗するなど何らかの手段によって分析を行う必要がある。

14.3.2.4 Absence of Multicollinearity and Singularity
■ もし変数間に完璧な線形の関係性が存在したり(多重共線性)、強すぎる相関がある場合は分析に問題が生じる。事前に共分散行列のdeterminantを確認したりする等確認作業が必要である。また、単一性が見られる場合には警告のメッセージが出るが、その場合にはデータを確認する必要がある。

14.3.2.5 Residual
■ SEMにおいて、残差は小さく、ゼロ近辺に集中している必要があり、残差共分散は正規性が保たれていなくてはならない。残差の非正規性は適合度の低下を招く。

14.4 Fundamental Equations for Structural Equation Modeling (pp. 684-685)
14.4.1 Covariance Algebra
■ SEMではパラメータをサンプルデータから推定し、母集団値を算出(予測)する。この推定されたパラメータはcovariance algebra(共分散代数?)によって合わせられ、母共分散行列を推定し、それの標本共分散行列との近似性が検定される。
■ この共分散代数はパラメータの推定値がどのように合わせられ母共分散行列が構築されるのかを示すために役立つものである。
■ しかし共分散代数はモデルが複雑になるほど面倒なプロセスになる。

〈コメント〉
・ 学生のうちは300人以上というサンプルを集めることは難しいため、少人数でもパス解析が可能であることが書かれた先行研究(Bentler & Yuan, 1999; MacCallum, Browne & Sugawara, 1996)を読む必要がある。

ページトップに戻る

2009/4/23

Chapter 14 Structural Equation Modeling (pp. 686-709)

14.4.2 Model Hypothesis
■ Figure 14.4 (p. 687) は次の5つの観測変数を含んでいる(分析に含めたサンプル数は100名中5名)。
NUMYRS: スキー経験年数
DAYSKI: スキーをした合計日数
SNOWSAT: 雪質への満足度(リカート式)
FOODSAT: 食事への満足度(リカート式)
SENSEEK: 期待感(リカート式)
■ 加えて2つの潜在変数、LOVESKIとSKISATが含まれている。
■ LOVESKIとSENSEEKの間にはパスが引かれていないが、後にこれも検証される。
■ モデル内で示された関係性が計算され、母共分散行列が算出されるが、この分析の最終目的はその母共分散が標本共分散行列と有意に異ならないことを確認することである。

14.4.3 Model Specification
■ モデルを細目化する方法の1つにBentler-Weeks法が挙げられるが、この方法においては独立変数の1)回帰係数と、2)分散･共分散を求めることが目的である。
■ Bentler-Weeksモデルは回帰モデルであり、式14.10(p. 688)によって表される。
■ qが従属変数の数、rが独立変数の数だとすると:
eta = a q×1 vector of dependent variables
beta = a q×q matrix of regression coefficients between dependent variables
gamma = a q×1 matrix of regression coefficients between dependent and independent variables
xi = an r×1 vector of independent variables

■ Bentler-Weeks法では独立変数のみが共分散を有し、この共分散はphiで表される、つまりr×r matrixである。
■ つまり、当該モデルにおけるパラメータの行列は、ベータ、ガンマ、ファイで表され、これらを求めていくことになる(エータとクシーは無視される)。
■ Figure 14.4を行列に当てはめると、p.698のような行列となる(= 式14.4)。
■ この行列はモデルに対応しているため、アステリスクは推定されるパラメータ、1は固定された分散、及びパス係数、0はそこにパスが無いことを示す。
■ 識別化(identification)のため、このように0や1等の特定の数字をおき、パラメータが固定されることに留意。
■ 独立変数のみが分散･共分散を持つため、これらはp. 690の7x7の行列のように並べられる。

14.4.4 Model Estimation
■ モデリングを開始する際には、その後のパラメータの値を予測する値、つまり初期値(initial value)が必要となる(共分散は1、回帰係数は.1である場合が多い)。
■ この初期値と値の予測が近いほど計算の反復が最小限に収まる。
■ 初期値については様々な算出方法があるものの、ソフトウェアに算出を任せる方が無難である。
■ 初期値はパス図(p. 689)や行列beta, gamma, phiにおいてはアステリスクで示されている。
■ しかし、pp.690-691に見られるように、beta, gamma, phiに^ (ハット)が付くと、アステリスクが初期値に置き換えられる。
■ pp. 692-693の計算を、モデルが実際のデータに近づくまで計算が反復され (推定される共分散行列がもともとのデータの相関行列に近づくまで初期値を元に最適なパラメータの値を探していく) 、最終的に解が収束するとp. 694のFigure 14.5のような結果となる。

14.4.5 Model Evaluation
■ モデルの評価としてカイ二乗値が算出されることがあるが、この検定は自由度を用いて行われ、その自由度とは標本分散･共分散における情報量から、そのモデルにおける推定されるパラメータの数を引いたものと同等である。
■ しかし、変数の数が少ないモデルにおいては分散･共分散を数えることが簡単であるが、含められる変数が多いより大きなモデルにおいてはデータポイントの数(the number of data point)が式14.17によって求められる(p.695)。
■ 今回のモデルでは11のパラメータ(回帰係数5つと分散6つ)が含まれているため、自由度が4、カイ二乗値が9.337、p値が.053となる。
■ データにモデルがフィットするかどうかの評価であるため、有意でないことが望ましい。
■ しかし、カイ二乗値はサンプル数に大きく影響されてしまうため、他の適合度指数が併用される。
■ 今回はデータとモデルの間に有意差が見られなかったため、モデルを棄却する必要性はあまりない。
■ モデルに含まれた変数は、それぞれ異なる測定から得られたもののため単位が違う。そのため、標準化係数を算出してそれぞれの係数を比較することが一般的である。

14.4.6 Computer Analysis of Small-Sample Example
■ 結果の示し方はソフトウェアによって大きく異なる(ここではEQS, LISREL, AMOSを使用)。
■ 結果はTable 14.2から14.5に記載。

〈コメント〉
・ 適合度指標の数値には｢まあまあ当てはまりがよい｣などの、程度や段階を表す基準が存在するのであろうか?研究によっては一般的には適合度指標が当てはまりを示していないにも関わらず、｢まあまあ当てはまった｣など程度を表しているものも少なくない。適合度指標についてははもう少し調べる必要がある。
・ 潜在変数から観測変数へのパスのうち1本を固定しなくてはならないのか、また、なぜランダムに固定することが可能なのか、個人的には現在の最もな興味である。

ページトップに戻る

2009/5/14

Chapter 14 Structural Equation Modeling (pp. 709-723)

14.5 Some Important Issue
14.5.1 Model Identification (pp. 709-712)
■ SEMにおいては、モデルを具現化した後サンプルデータを用いてパラメータを推定し、それを用いて母集団共分散行列を導く。
■ しかし、実際に識別されるモデルのみのパラメータが推定されるのであり、それぞれのパラメータが固有の解(a unique numerical solution)を有している時のみ｢識別されたモデル｣ということができる。
■ 具体的には分散Y=10かつY=α+βの時、αとβに固有の値があるとは言えないが、仮にαが0に固定された場合、βは固有の値10を持つことができ、モデルは識別されたと言える。
■ 識別化されるまでには大まかに3つのステップがある。

ステップ1: データと推定されるパラメータの数の検証
■ ここでのデータはサンプルの分散･共分散の数を指し、パラメータの数は推定される回帰係数、分散・共分散の総数で表される。
■ データの数がパラメータの数を上回れば(overidentified)分析に必要な条件を満たしていると言え、等しければモデルの妥当性は検証されず分析としては興味深くなく、下回れば(underidentified)パラメータは推定されずモデルの修正が必要となる。(データの数 = p(p+1)/2; p=観測変数の数)
ステップ2: 測定部分(measurement portion)の検証 (因子と観測変数の関係)
■ 因子の尺度を定める必要があり、これは因子の分散、または因子から観測変数へのパスの回帰係数を1に固定することで行われる。
■ もし因子が独立変数の場合はどちらでも良いが、従属変数の場合は一般に回帰係数が固定される。
■ また、因子とそれに関係する観測変数の数に注意を払う必要もある。
■ 因子が1つの場合、各誤差変数間に相関が無く、負荷量が0でない最低3つの観測変数が負荷していれば識別される。
■ 因子が3つ以上の場合、上記の条件に加えてそれぞれの観測変数が1つの因子のみに負荷していること、そして因子間が共変関係にあることが必要となる。
■ 1つの因子に対して2つの観測変数のみの場合は、各誤差変数に相関が無いこと、1つの因子のみに負荷していること、因子間の分散･共分散が0でないことが条件となる。
ステップ3: 構造部分(structural portion)の検証 (因子間の関係)
■ 従属変数としての因子同士が互いに予測し合わない事が条件となる。
■ もし互いに予測し合う場合は、それらがrecursiveかnonrecursiveかを考慮する必要がある。
■ Recursiveな場合はフィードバックループ(DV1←→DV2で、D同士に相関がある状態)がないと言え、識別可能となる。

■ 識別化の達成は難しく、念入りに準備をしてもよく問題が生じてしまう。
■ 因子の尺度を固定し忘れていることがよく見られる原因の1つ(出力結果参照)。
■ また、因子の分散も回帰係数も両方1に固定している場合、識別化に問題が生じると言うよりは、単純にモデルがフィットしなくなる。

14.5.2 Estimation Techniques (Bentler & Yuan (1999); Hu, Bentler, & Kano (1992)) (pp. 713-715)
■ 測定データと推定すべき母集団のデータ間の差を最小限に抑えるという観点から最適な方法を選ぶべきである(e.g., GLS, ML, EDT, ADF, etc)。
■ これらの方法は1)サンプルサイズ、2)誤差、因子、またその両方の非正規性、3)それらの独立性によって影響される。また、過剰にモデルを棄却しすぎず採択しすぎないモデルの選択が望まれる。

14.5.2.1 Estimation Methods and Sample Size
■ Hu et al. (1992)は、正規性が確認され500人以上であればML、もしくはScaled ML, それ以下であればGLSが良いとした。
■ それよりも少ないサンプル数であればEDTがMLよりも良く、2500人以下だとADFは機能しない。
■ Bentler & Yuan (1999)は60人から120人であればYuan-Bentler test static (Hotelling’s T に近く、ADFベース) が良いと示した。

14.5.2.2 Estimation Methods and Nonnormality
■ 正規性が仮定されず、2500人以上ならMLとGLSが機能する(Hu et al., 1992)。
■ それ以下だとGLSが良いが、モデルを採択しやすい傾向。
■ EDTも採択し易過ぎる傾向で、2500人以下ではADFはやはり機能しない。
■ サンプルサイズが小さければやはりYuan-Bentler test static.

14.5.2.3 Estimation Methods and Dependence
■ 誤差変数と因子が独立しておらずかつ相関関係が無ければ、多いサンプル数ほどScaled MLが適しており、少ないサンプル数ならばYuan-Bentler.

14.5.2.4 Some Recommendations for Choice of Estimation Method
■ サンプル数が多く(medium to large)、正規分布しており、独立性が見られればMLとGLSが、サンプル数以外の条件が満たされていなければScaled MLが良い。
■ しかしScaled MLはcomputer intensiveなのでモデルの推定にはML, 最終的な推定にはScaled MLが良いのかもしれない。
■ 人数が少なければYuan-Bentlerが良い。2500人以下ではADFは使えない。

14.5.3 Assessing the Fit of the Model (pp. 715-716)
■ サンプルと母集団の共分散行列の一致を確かめるにはカイ二乗が用いられるが、これには様々な問題が生じる。
■ サンプル数が大きい場合には有意になりやすく、小さければ有意水準が不正確になる。唯一ある程度実用的といえるのは、カイ二乗値/自由度が2以下の時だけである。
■ 適合度指標は活発な研究対象と言える。

14.5.3.1 Comparative Fit Index
■ モデルのあてはまりの良さを概念化するには、一連のモデルがNested modelsであると考えるとよい。Nested modelとは”models that are subsets of one another (p. 716)”である。
■ これらは連続体を形成し、一端はindependence model, もう一端はsaturated modelであり、推定されるモデルはこの連続線上のどこかに位置すると考えられる。
■ 1つの例としてはNFI (normed fit index)であり、モデルとindependence modelのカイ二乗値を比較し、|.95|以上であれば当てはまりが良いと考える。しかし、サンプル数が少ないと上手く機能しない。
■ 自由度を含めてそれを修正したものがNNFI (non-normed fit index)であるが、0－1の範囲外の値をとることもあり、また、サンプル数が少ないと値が低くなりすぎる。
■ CFI (comparative fit index)は非心カイ二乗分布(with noncentrality parameter)を適用する。
■ |.95|以上であればあてはまりが良く、サンプル数が少なくても安定している。
■ 一方でRMSEA (root mean square error of approximatin)はsaturated modelとの比較であり(どの程度適合度が欠けているのかの比較)、|.06|より小さい値になれば当てはまりが良いと言えるが、|.10|以上であればモデルは適合しない。また、少ない人数では上手く機能しないため、その場合には好ましい指標とは言えない。

14.5.3.2 Absolute Fit Index
■ McDonald & Marsh (1990)は指標MFIを提唱し、これは他のモデル、つまりsaturated model (CFI)や観測データ(GFI)との比較を行わないと言う点で絶対値を取る指標である。

14.5.3.3 Indices of Proportion of Variance Accounted
■ 標本共分散における分散の重み付けされた比率を計算するのが、最も良く知られている2つの指標、GFI (goodness of fit index)とAGFI (adjusted goodness of fit index)である。
■ GFIは重相関係数の二乗に類似している(Tanaka and Huba, 1989)。
■ また、推定されるパラメータの数に応じて調整された指標がAGFIとなる。
■ データの数に対してパラメータの数が少ないほどAGFIの値はGFIの値に近づく。
■ また、推定するパラメータの数が増えるほど適合度が上がるが、極力少ないパラメータでモデルを構築することがSEMのゴールであることも忘れてはならない。

14.5.3.4 Degree of Parsimony Fit Indices
■ モデルの倹約度を反映するモデルが多数存在する。その1つはPGFIであり、GFIを調整することによって算出される。
■ これは値が1に近いほど良いが、パラメータの数がデータの数よりも少なくなければ他の値よりも小さくなることを留意したい。
■ カイ二乗値と自由度が用いられて算出されるのがAIC (Akaike Information Criterion)とCAIC (Consistent Akaike Information Criterion)である。
■ 値が小さいほど当てはまりの良さを表すが、基準となる明確な値が存在しない。0－1の尺度を取らず、また他のモデルと比較して値が十分に小さいかどうかが判断される。
■ また、MLによる推定法に適しており、サンプルの数には左右されない。

14.5.3.5 Residual-Based Fit Indices
■ 残差を用いた指標としてはRMR (root mean square residual)とSRMR (standardized root mean square residual)があり、これらは標本分散･共分散と母分散･共分散の差の平均値を表す。
■ RMRの値が小さいほど良い当てはまりを表す。しかし、含められる変数の尺度が残差の大きさに影響するため、SRMRが存在する(|.08|以下がgood fitting)。

14.5.3.6 Choosing among Fit Indices
■ 当てはまりの良いモデルにおいては適合度指標が多くの場合に一貫した結果となるため、全ての指標で同様の結果が得られたならば、どの指標を報告するかは研究者及び編集者の好みの問題である。
■ CFIとRMSEAが最もよく報告され、検出力検定の場合はRMSEA, nestedでないモデル比較の際にはAIC, CAICが良い。
■ 複数の指標がよく報告されるが、もし指標が一貫しない場合はモデルを再検証する必要がある。
■ Hu and Bentler (1999)はSRMRとcomparative fit indexのうちの1つの、2つの指標の報告を推奨する。

14.5.4 Model Modification (pp. 721-723)
■ モデル修正は、最低でも適合度を上げ、仮説を検証するために必要とされる。
■ Chi-square difference, Lagrange multiplier (LM), Waldの3つの検定法があり、これらは帰無仮説に基づくが、修正法が異なる。

14.5.4.1 Chi-Square Difference Test
■ モデルがnestedであれば、より大きなモデルのカイ二乗値がより小さなモデルから引かれ、その差が2モデル間の自由度の差によって評価される。
■ モデルが正規分布ならば単純に引き算がされるが、そうでなければSatorra-Bentler scaled chi squareが適用され、カイ二乗値として機能するように調整する必要がある。
■ モデル修正により新しいパスが引かれ適合度が上がった場合、理論上そのパスは仮定されなかったが、データによりその関係性が支持されたことを意味する。
■ しかし、2つのモデルを比較することは非常に面倒で、カイ二乗値はサンプルサイズに影響されることが問題点である。

14.5.4.2 Lagrange Multiplier (LM) Test
■ この検定法ではどのパラメータをモデルに加えれば適合度が向上するのかが検定される(ステップワイズ回帰分析に類似)。
■ LM法は一変量にも多変量にも用いられる。
■ しかし、一変量のみの結果を検証することは危険である。パラメータ推定値間の重複した分散が、多くのパラメータを、あたかも加えればモデルの当てはまりを向上させるかのように思わせてしまうからである。
■ しかし、多変量の際にはカイ二乗値を最も低下させる単一のパラメータを明らかにする。

〈コメント〉
・ 今回の担当箇所は分析を進めていく上で非常に重要な情報が分かり易くまとめられていたため参考になったものの、データの数(number of data point)の数え方をしっかりと把握しておく必要がある。
・ サンプル数が少ない場合に用いられるYuan-Bentler test staticをAMOSでは使えないかもしれない。その他の方法が無いか考える必要がある。
・ Nestedなモデルの分析方法を把握する必要がある。

ページトップに戻る

2009/06/11

Chapter 14 Structural Equation Modeling (pp. 723-732)

14.5.4.3 Wald Test
■ LM検定ではパラメータを新たに付加した場合にどうなるかを検定していたのに対し、Wald検定ではどのパラメータを削除するのかが問題となる。
■ 例えばp. 687のFigure 14.4で見た場合、NUMYRSに付随する誤差変数が削除の第一候補となる。
■ 数値を見てみるとこの変数を削除した場合、カイ二乗値は.578向上するが、それは有意な変化ではないことが明らかとなる(p = .447).
■ また、誤差変数を削除することは通常考えられないため、この変数は残されるべきと判断される。
■ LM検定と異なり、Wald検定においては検定結果が有意でないことが望まれる。
■ この結果はTable 14.11に示されている(p. 727; EQSによるもの)。
■ 一変量と多変量の結果が示されており、デフォルトでは、削除をしても多変量のカイ二乗値が有意になるよう影響しないパラメータの削除が候補として考慮される。
■ 繰り返すが、削除してもモデルに有意に影響を与えないパラメータを削除することがこの検定の目的である。しかし、LISRELやAMOSではこの検定を行うことができない。

14.5.4.4 Some Caveats and Hints on Model Modification
■ LM検定もWald検定もステップワイズ法で行われるため、｢第一種の誤り｣が誘発される可能性がある。
■ 特に修正法は存在しないが、LM検定には｢保守的｣な確率値(e.g., p < .01)を使用することが比較的シンプルな方法である。
■ 修正を行ったら、他のサンプルと相互検証(cross validation)を行うと良い。
■ もし修正の数が多く、また、比較できるサンプルのデータがない場合は、共通するパラメータを用いて仮定されているオリジナルのモデルと最終的なモデルの相関係数を比較すると良い(> .90)。
■ パラメータを推定する順番がその他のパラメータの有意性に影響するため、LM検定を最初に行うことが推奨される。
■ カイ二乗値の変化が大きくても、必ずしもパラメータの推定値の変化も大きいとは限らない。
■ モデルには含まれていない新たなパラメータの追加が検定の結果示されても、それが解釈可能なものであるとは限らないため、その場合は追加しない方が良い。
■ 検定するモデルが不適切な場合、修正を行ってもモデルが適切になるわけではない。
■ 修正の数は、特に相互検証ができない場合、少ないほど良い。

14.5.5 Reliability and Proportion of Variance
■ 信頼性は、真の分散とトータルの分散(真+誤)の比率として定義される。
■ 信頼性と観測変数の分散の割合は、観測変数が従属変数、潜在変数が独立変数の場合、重相関係数の二乗(squared multiple correlation; SMC)として表される。
■ つまりSMCは観測変数の信頼性と因子によるトータルの分散の説明率とされる。

14.5.6 Discrete and Ordinal Data
■ SEMは連続変数、そして間隔尺度を取る。しかし時として、離散変数や順序カテゴリー変数を分析に含めたい場合がある。
■ 離散変数(名義尺度)(例えば好きな野球チーム)は、ダミーコード化するか、もしくは好きなチームそれぞれに対するモデルを検証するmultiple group modelにすることによって独立変数として扱える。
■ 一方で、順序カテゴリー変数(2値変数や5件法等)は特殊な方法が必要であり、順序尺度を連続変数とする場合には、順序変数のカテゴリーは潜在的で正規分布した連続変数の閾値へと変換される。
■ 例えばFigure 14.7は、チョコレートが1)嫌い、2)好き、3)愛している人のカテゴリーを示す。
■ 最初の閾値以下にはチョコレートが嫌いな人が、2番目の閾値以上には愛している人が、その間には単純に好きな人がカテゴライズされている。
■ このようにそれぞれのカテゴリーに属する割合が計算され、それを用いてz得点が算出される。このz得点が閾値となる。
■ これらの分析にあたり、SEMは多分相関係数(polychoric correlation)や多分系列相関係数(polyserial correlation)を用いて分析を進める(共分散ではない)。
■ EQSやLISRELでは閾値やこれらの相関係数が計算されるが、AMOSではそもそもカテゴリー変数を取り扱えない。

14.5.7 Multiple Group Model (多母集団)
■ 2種類以上のサンプルデータ(e.g., 男性と女性)を用いて、モデルの比較及び推定が可能である。
■ この分析において検証される帰無仮説は、｢これらのサンプルは全て同じ母集団から来ている｣である。
■ 分析の進み方としては、まずはそれぞれのサンプルにおいて当てはまりのよいモデルを検証し、分析のステップが進むごとにより厳しい制約を置きながら比較を行っていく(カイ二乗検定)。
■ つまり、それぞれのステップにおいて、カイ二乗検定により有意差が無いと確認できることが望ましい。
■ 検定の結果、有意差が見られても諦めずLM検定を行ってみることである。
■ 前述のように、分析は検証すべき仮説(制約)によっていくつかのステップに分けられる。
■ 第一段階として、因子負荷量にモデル間で差がない(因子構造が同じ)、と言う制約を置き、検証する。制約が満たされた場合、どのサンプルにおいても制約の無いモデルと有るモデルに差がないということが証明される。
■ 万が一差が出てしまっても、LM検定で検証してみるべきである。
■ 第二段階として、因子の分散･共分散に差がない、と言う制約を置く。
■ 第三段階として、因子間のパス係数に差がない、と言う制約を置く。
■ これら全てが満たされたら、最終段階としてサンプル間の残差分散が等しいという制約をおいて分析を行うが、これは最も厳しい制約であり、棄却されやすい。
■ 微妙な問題としては、例えば因子構造が大体同じであるが、因子からのパスがひとつだけサンプル間で異なる場合がある。
■ この場合、次の分析に進む前にそれらの係数を確認する必要がある。もしくは因子構造は同じでも、因子間のパス係数が異なるという原因が考えられる。
■ 分析を行う前の注意点としては、ひとつのサンプルグループに対して当てはまりが良すぎる場合、多母集団分析は上手くいかない可能性がある。
■ 似たような種類の分析、多段抽出モデル(multilevel model)が有る。異なる階層において異なるモデルを立て、それらを比較する。
■ 例えば、ある学校で、異なるクラスに異なる指導法を実践し、その効果を検証するとする。この場合、学校、クラス、学生と異なるレベルでモデルを立てて検証する。

<コメント>
・ モデルに修正を加える際には注意が必要であること、そしてMulti Group Modelingを積極的に使用してみようと思った。

ページトップに戻る

2009/07/30

Chapter 14 (pp. 732-749)

14.6 Complete Examples of Structural Equation Modeling Analysis
・ ここでは検証的因子分析(Confirmatory factor analysis; CFA)を例として、2つの潜在変数とその観測変数の関係性を、LISRELを使って見ていくことにする(Figure 14.8, p. 733)。

14.6.1 Confirmatory Factor Analysis of the WISC
・ 以降では学習障害を持つこどもに対して実施したWechsler Intelligence Scale for Children (WISC)を構成する11の下位テストの得点を分析の対象とする。

14.6.1.1 Model Specification for CFA
・ Figure 14.8において、次の2つの仮説検証が分析の目的として挙げられる。
(1) 単純構造(各観測変数が1つの因子のみに負荷していること)を持つ2因子モデルがデータに適合するのか。
(2) 2つの因子、PerformanceとVerbalの間には有意な共分散が確認できるのか。

・ 仮説を立てそれを図形化したら、モデルの識別性を確認すると良い。
・ データポイントの数と推定されるパラメータの数を数える。
・ まず、変数の数が11なので、データポイントが66であることがわかる(11(11+1)/2 = 66)。
・ 仮定したモデルからは推定されるパラメータの数が23であることがわかるので(回帰係数11+共分散1+誤差分散11)、モデルはoveridentifiedであり、43の自由度を用いて検定されることがわかる。

14.6.1.2 Evaluation of Assumptions for CFA
14.6.1.2.1 Sample Size and Missing Data
・ サンプル数は177人、観測変数が11、欠損値は無し。

14.6.1.2.2 Normality and Linearity
・ SPSSの”FREQUENCIES”を使用して正規性を検証したが、有意な尖度･歪度は確認されなかった。
・ SPSSの”GRAPHS SCATTER”を使用して観測変数に線形性が確認された。

14.6.1.2.3 Outliers
・ SPSSの”DESCRIPTIVE”を使用して、”arithmetic”の下位テストに外れ値を1つ見つけたので、削除。
・ SPSSの”REGRESSION (恐らくここでは判別分析)”で、マハラノビス距離を用いたところ、多変量外れ値(multivariate outliers)を更に1つ発見したので、これも削除した("comprehension”で極端に低く、”arithmetic”で極端に高かった)。
・ 最終的には175名を分析の対象とした。

14.6.1.2.4 Multicollinearity and Singularity
・ プログラムが収束したので、共分散行列には単一性が見られなかったと考えられる。

14.6.1.2.5 Residual
・ 残差の評価はモデルの評価の一部として行われる。

14.6.1.3 CFA Model Estimation and Preliminary Evaluation (Table 14.12, pp. 735-736)
① Preliminary
・ まずは、1)推定したいパラメータが含められているかどうか(FR; free element)、2)共分散行列が正しいかどうか(事前に分析したものと合致しているかどうか)を確認すると良い。
・ Parameter Specificationはモデルで特定されるそれぞれの行列とそれぞれの自由パラメータの番号を示す。
・ Lamda-Xは潜在変数－観測変数間の回帰係数を表す。
・ PHIは因子内の共分散行列を表す。
・ THETA-DELTAはそれぞれの観測変数に付随する誤差分散の対角行列を示す。
・ ゼロは固定されている、つまり推定はされてないことを表す。
② Fit Index
・ 次にGoodness of Fix Statistics (Table 14.13, p. 737)を検証する。
・ Chi-Square for Independence Model with 55 degrees of Freedomを見ると、有意であった。これは”variables are unrelated”という仮説を検討するものであり、有意であることが望まれる。
・ カイ二乗検定の結果を見ると、これも有意であった。しかし自由度の2倍よりも小さいため、フィットしたとみなす。その他の指数も当てはまりの良さを示した。
③ Residual
・ LISRELは様々な残差に関するデータを提供するが、Table 14.14 (p. 738)は偏標準残差(partially standardized residual)の出力を示す。
・ PARANG(?)とCOMPの間に考慮すべき残差(標準残差3.06)が見られたが、これはモデルがこれら2つの変数間の関係性を十分に推定できなかったことを示している。
・ Stem Leaf Plot(medianが0)はゼロ付近に多く集まり、左右対称に現れている。
・ また、LIRELはQPLOTも出力する(Figure 14.9, p. 739)。残差が正規分布していればXが対角線付近に集まることになる。
④ Paramter (Table 14.15, p. 740)
・ まず、LISREL Estimates (Maximum Likelihood)のところを見る。観測変数ごとに非標準化係数、(標準誤差)、z得点の順で示されている。ここではCodingのみが有意でなかった。
・ 標準化係数はTable 14.15 (p. 741)にCompletely Standardized Solutionとして提示されている。
⑤ Hypothesis Testing
・ 考慮すべき大きな残差はあったが(PICTCOMP-COMP)、モデルの当てはまりは良かった。
・ Figure 14.10 (p. 742) を見ると因子間にも有意な共分散が存在していた。
・ また、LISRELは重相関係数の二乗(Table 14.16, p. 743)も表示する。やはり、CodingのSMCは.005と、因子Performanceとは関係しているとはいえない結果が示されている。

14.6.1.4 Model Modification
・ モデルがフィットしているのでここで分析を終了可能であるが、以下の2つのその後の検定が可能である。
(1) PICTCOMP-COMP間の残差を、新たなパスを追加することで低下されることができるか？
(2) Codingを抜いても当てはまりの良い倹約的なモデルが許容されるのか?
・ 修正指標はTable 14.17 (p. 744)に出力されている。
・ 因子PerformanceからCOMPへのパスが最も大きな1変量修正指標である(カイ二乗9.767, 標準化された値.317).
・ このパスを足したモデルを推定するとカイ二乗(42, N = 172)=60.29, CFI=.96となり、修正前のモデル(カイ二乗値＝70.236, df=43)と比べると有意に向上しているといえるため、このパスは妥当であると判断した(カイ二乗(1, N = 172)=9.941, p < .01)。
・ 残差は2.614まで減少した。
・ 次にCodingを抜いた場合を検証するが、先ほどはNestedなモデルであったが、今度はデータとパラメータを根本的に変えるため、全く異なるモデルとして検証する(カイ二乗(33, N = 172)=45.018, p = .08, CFI=.974)。
・ AICとCAICを、Codingを含めたモデルと含めないモデルで比較した結果(AIC: 108.30 to 89.018; CAIC: 208.25 to 180.64)、十分に低下したかどうかはわからないが、より適合するようになったと考えられる。
・ 最終的なモデルはFigure 14.11 (p. 747)である。
・ 新しいモデルはその他のサンプルでcross-validateすべきであるが、今回は他にサンプルが無い。
・ どの程度修正によって変化したのかを見るには、最初のモデルと最後のモデルのパラメータの相関係数を算出することが1つである。
・ ここではr (18) = .947, p < .01となり、ほとんど変化しなかったと言える。

<コメント>
　モデルの修正にはさまざまな問題が考えられるが，もし行った場合はどの程度変化したのかを知る必要がある。本章では相関係数で評価すると書かれていたが、具体的にどうすればいいのかは書かれていなかった。この点について今後明らかにしたい。

ページトップに戻る

2009/08/20

Chapter 17 (pp. 750-773)

14.6.2 SEM of Health Data
14.6.2.1 SEM Model Specification
・ 以降では、Figure 14.12 (p.750)をもとに分析を進めるが、以下のような疑問点が挙げられる。
(1) このモデルは、母集団共分散行列をどの程度予測するのか。
(2) 構成概念は、観測変数をどの程度予測するのか(測定モデルにはどの程度検定力があるのか)。
(3) AGE, STRESS, SELFはPERCHEALとUSEHEALを予測するのか。
(4) PERCHEALはUSEHEALを予測するのか。
(5) PERCHEALはAGE, STRESS, SELF, USEHEALを介在するのか。
・ 識別性については、変数が9つのためデータポイントの数が45 (= 9 (9+1) / 2 )、パラメータの数が23 (回帰係数10、共分散3、分散12)であるため、モデルの自由度が22となり、overidentifiedである。

14.6.2.2 Evaluation of Assumption for SEM
14.6.2.2.1 Sample Size and Missing Data
・ サンプル全体の数は459名であったが、最終的な分析対象者は443名に絞られた。

14.6.2.2.2 Normality and Linearity
・ SPSSによるヒストグラム、及びEQSによるスキャッタープロットによって検定した結果、8つの観測変数に大きな歪みが見られた(p. 751)。
・ また、EQSでは多変量正規性についても検定が可能である。標準化推定値(normalized estimate)はz値で解釈でき、外れ値除外後の値は16.42となり、観測変数に正規性が見られないことが示された。
・ ランダムに取り出した変数のペアをSPSS GRAPHSによって分析し、線形性があることが確認された。

14.6.2.2.3 Outliers
・ SPSS FREQUENCIESとGRAPHS、REGRESSIONによって一変量、多変量共に外れ値は見られなかったことが分かった。

14.6.2.2.4 Multicollinearity and Singularity
・ Singularityは見られなかった(p. 754, DETERMINANT OF INPUT MATRIX IS参照)。

14.6.2.2.5 Adequacy of Covariances
・ 各変数の尺度(つまり共分散)がどの程度異なる大きさなのかどうか、SEMのプログラムでは検定が難しい。
・ 今回の例では、最大の分散がSTRESSの17049.99であり、最小の分散がCONTROLの1.61だった。
・ この差は大きく、また、200回転後も分析が収束しなかったため、STRESSに.01が掛けられた。その結果、収束の問題は解決された。

14.6.2.2.6 Residual
・ 残差については、モデルの評価の過程で検証する。

14.6.2.3 SEM Model Estimation and Preliminary Evaluation
1.まずは、Table 14.18の最後に記載される”PARAMETER ESTIMATES APPEAR IN ORDER”を確認する。分析上問題がなければこのメッセージが、問題があれば代わりに問題の種類を示すコードが提示される。

2.共分散行列が確認できたら、識別された従属変数、独立変数を示す”BENTLER-WEEKS STRUCTURAL REPRESENTATION”を確認する。

3. 次に、Table 14.19(pp. 756-758)の”GOODNESS OF FIT SUMMARY”のセクションを見るが、重要なことは｢推定モデル(hypothesized model)」が｢独立モデル｣よりも有意に向上しているかどうか(improve)である。
・ つまり、｢独立モデル｣とは全ての観測変数間に関連性(共分散;相関)が無いと想定されるモデルであるが、ここで仮定されたモデルは観測変数間に関係性があると想定されているので、｢独立モデル｣よりも有意なimprovementが見られるべきであるという考え方である。
・ 通常はこれらのモデル間をchi-square difference testで検定する。
・ 正規分布をしているのであれば、カイ二乗値を引き算すれば済むが、今回のデータには正規性が見られないため、Satorra-Bentler法によって調整した値を用いる必要がある(p. 756の式参照)。
・ 検定の結果、有意なimprovementが確認された。
・ しかし、Satorra-Bentler scaled chi-squareは有意であった(データとモデルの共分散行列に有意差, p.758中段)。これはサンプル数に左右されることを考慮する必要がある。
・ 更に、適合度指数が余りよくなく、残差もゼロ付近に分布しているものの個々の値が大きかったため、修正が必要であると判断される。

14.6.2.4 Model Modification
1. パスが足されるとモデルが向上するため、重要なパスの付け忘れを確認する(今回は無し)。
2. 次にLM検定(Lagrange multiplier test)を行う(結果はTable 14.20, p. 760)。
・ モデルの修正を行うことは分析が確認的(confirmatory)なものから探索的(exploratory)なものへ変化したことを意味し、有意水準には十分に注意すべきである(恐らく p < .001)。
・ 例えば、V7(poor sense of self)からF1(number of metal health problem)へのパスを足すと、有意な向上が見られ、カイ二乗値も低下するという示唆が得られた。
・ 概念的には妥当なパスであると考えられるため、パスを付加した上で再度分析を行うと、p. 759下段のようなメッセージが現れる。
・ これはF3(Health Care Utilization)に付随する○d (disturbance; 撹乱変数)に問題があったことを示す。
・ これを仮定せず分析を進めると問題が生じたため、このパスを引かなかった。
3. 次に残差間(誤差変数間)の相関の検討に移った(Table 14.21, p. 761)。
・ 残差間の相関は概念的にも理論的にもトリッキーである。
・ というのも、独立変数からは予測されない｢従属変数の一部｣に相関を仮定するものであり、何が何と相関関係にあるのか分かりかねるからである。
・ LM検定の結果、E5―E6間のパスが候補として考えられた。
・ これは、”number of physical problems”と”number of visits to health professionals”の関係が示されたとしても、その背後に更なる特有の関係があるものと想定されるため、パスが引かれた。
4. 再度検定した結果、ある程度の向上が見られたが、RMSEAとCFIが不十分であるため、再びLM検定によって残差間の相関が検討された。
・ その結果、E8とE6の間の相関が論理的に妥当であると考慮され、結果として更に良くなった。
“It is very easy to fool yourself into a convincing story about the theoretical importance of a path when you see that adding it would significantly improve the model. Exercise caution here!”
・ データや分析結果から考えられる”post hoc path”を引く場合には十二分に注意が必要である。

・ 最終的な適合度指数はTable 14.22 (p. 763)に、最終的なモデルはFigure 14.13 (p. 762)に示す。
・ モデルを修正したため、最初に仮定したモデルと本質的には異ならないことを示す必要がある。
・ 異なるデータでこのモデルを試すことが理想であるが、今回は初期のパラメータと最終的なパラメータの推定値の相関係数を算出し、r > .90ならば変化なしと考える(今回はr = .97)。

・ 次に、パラメータの推定値を見ていく(Table 14.23, pp. 764-768)。
・ p. 765の”MEASUREMENT EQUATIONS WITH STANDARD ERRORS AND TEST STATISTICS”を見ると、全てのパス係数が有意であったことが分かる (p < .05)。
・ 同様に”CONSTRUCT EQUATIONS WITH STANDARD ERRORS”では因子間の関係性の検定結果が示される。
・ これによれば、AGEはHEALTH CARE UTILIZATIONを有意に予測しないことが分かった(より倹約的なモデルにするために、有意でないパスを消すと良いかもしれない)。
・ 間接効果は”DECOMPOSITION OF EFFECTS WITH NONSTANDARDIZED VALUES PARAMETER INDIRECT EFFECTS”で示される。
・ Perceived Ill HealthはAGE, STRESS, SELFとHealth Care Utilizationを介在していることが示された。
・ また、従属変数の分散に対する説明率はSTANDARDIZED SECTIONのR-SQUAREDの列に示される。
・ 最後に、Table 14.24 (p. 769)にSEMのチェックリストを示す。

<コメント>
　今回で本章の発表は最後であったが、今後SEMを使用することを考える非常に参考になったと思う。AmosはEQSとまた異なるため、今後はEQSも使用してみたい。

ページトップに戻る

MANOVA & ANCOVA

2009/09/17

Chapter 7 (243-250)

7.1 General Purposes and Description
多変量分散分析（MANOVA）
 MANOVAは、複数の従属変数がある状況に対応したANOVAであると言える。
 例としては「グループ間(3 different treatments；独立変数)でtest anxiety, stress anxiety, free-floating anxietyの３つの従属変数は異なるのか」という問題が考えられる。
→　トリートメントの効果によって３つの従属変数の組み合わせ(た平均値)は異なるのか
 判別分析とは、グループ間の差を見るという点で類似した分析であると言える。

 MANOVAでは、グループ間の差が最大になるように、複数の従属変数が線形的に組み合わされ、概念的に新しい従属変数が作られる。
 多要因のMANOVAであれば、要因（独立変数）の数だけその従属変数の組み合わせが作られる。
 要因1で組み合わせ１、要因2で組み合わせ２、要因1×要因２で組み合わせ３というようになる。

 MANOVAにはいくつかのアドバンテージがある。
 1つは、複数の従属変数を含めることで、異なるグループや交互作用の結果としてどんな効果があったのかを知る機会が増える（例えば、1つのグループが他のグループよりも1つの従属変数に効果があっても、その従属変数が分析に含まれていなければその効果そのものがなかったことになる）。
 もう1つは、ANOVAの繰り返しによる第1種の誤りを防ぐことができるということである。
 また、個別にANOVAを繰り返すよりも検定力が高いと言える（Figure 7.1）。
 しかし、上記のような利点ばかりではない。独立変数の従属変数に対する効果が曖昧になってしまったり、MANOVAの方が検定力に優れる状況は限られていたりすると言える。
 従って、分析がより複雑かつ曖昧になってしまう点、そして余剰性が生まれる点（Figure 7.2）から複数の従属変数を分析に含むべきかどうかよく考える必要がある。

多変量共分散分析（MANCOVA）
 MANCOVAは複数の共変量について、新しく作られた従属変数を調整した後にグループ間の有意差を検定する統計的分析手法である。
 MANCOVAはANCOVAと同様に有益な手法である。
 １つは、MANCOVAは、共変量と結合した分散を誤差分散から取り除くため、誤差が小さくなり検定力が増すためである（ノイズリダクションのようである）。
 また、ランダムなグループの振り分けができない際に、同じ得点を取ったかのように共変量について従属変数を調整し、前提となるグループ間の差を説明することができる。
 MANOVA後にANCOVAが使われることがある。一方の従属変数（Higher-priority DVs）を共変量として調整し、もう一方の従属変数（lower-priority DVs）のグループ間平均差を求める。
 MANOVAと判別分析には多少の違いがあるが（複数のDVｓについてのグループ間での差 vs. ある変数の組み合わせがグループを上手く分けるのかどうか）、数学的な違いはない。また、判別分析はone-wayに限定される。そのため、同じone-way MANOVAは判別分析と同章の9章でおこなう。ここではfactorial MANOVA & MANCOVAに焦点を当てる。

7.2 Kinds of Research Questions
 MANOVAを使った分析のゴールは従属変数が独立変数の操作によって変わるのかである。

7.2.1 Main Effects of IVs
 他の全てを一定にした時、異なる水準のグループ内（独立変数）で、従属変数の組み合わせにおける平均値に差が見られるのだろうか？
 「他の全てを一定する」にはさまざまな手順が考えられる。
(１)要因配置においてまたがせる（crossing over）ことでその他の独立変数の効果を統制する
(２)一定に保ったり、効果のカウンターバランスを取ったり、効果をランダム化したりして外部要因を統制する
(３)共変量について差を統計的に調整することで「あたかも一定である」かのような状態を作り出す共変量を使用する
 独立変数が複数ある時、それぞれの独立変数に対して個別に検定が行われる。また、サンプルサイズが等しければ、個別の検定は互いに独立している。つまり、他の独立変数の検定の結果に影響がない。

7.2.2 Interactions among IVs
 他の全てを一定にした時、独立変数の水準上の従属変数は他方の独立変数の水準に依存するのか？
 上記の不安の例で交互作用を捉えると、あるトリートメントは男性に効果があり、別なトリートメントは女性に効果があるのか？ということを表す。
 独立変数が複数あるなら多重交互作用（multiple interaction）が考えられる。他の主効果や交互作用とは区別して行われ、サンプルサイズが等しいなら独立した検定となる。

7.2.3 Importance of DVs
 複数の主効果や交互作用が有意だった場合、どの従属変数が独立変数の影響を受けたのか、受けなかったのかが問題となる（Stepdown analysis）。

7.2.4 Parameter Estimates
 主効果の場合、周辺平均（marginal means）が母集団パラメータを最も良く推定し、交互作用の場合はCell meansが母集団パラメータを最もよく説明する。
 Stepdown analysis を行った結果出力される平均値は標本平均ではなく調整された平均値である。
 MANCOVAでは更に共変量にも調整が行われる。
 解釈および結果の記述は、標本平均も調整された平均もどちらも出す必要がある。

7.2.5 Specific comparisons and trend analysis
 多水準の独立変数の主効果及び交互作用が有意であれば、具体的に水準間でどの程度差が見られるのかが問題となる。

7.2.6 Effect size
 主効果や交互作用が十分に従属変数に影響していたならば、次は「どの程度？」が問題になる。

7.2.7 Effects of Covariates
 共変量が使用されたら、通常はその有用性が評価される。
 共変量は統計的に有意な調整を行っていたのか。
 各共変量はどの程度従属変数を調整したのか？

7.2.8 Repeated-measures analysis of variance
 被験者内要因（独立変数）の水準に対する反応は個別の従属変数と見なされる点において、MANOVAは繰り返しありのANOVAに取って代わる手法である。
 繰り返しありのANOVAは球面性の点において問題があるため、別な方法が必要である。

7.3 Limitations to Multivariate Analysis of Variance and Covariance
7.3.1 Theoretical Issues
 統計的な検定では、独立変数に対する因果の寄因は保障されない（MANOVAに限らず）。独立変数は調査者によって意図的に操作されていることを忘れてはならない。
 そのため、独立変数によってもたらされる従属変数の変化は、統計的なものではなく、論理的なものである。
 独立変数・従属変数の選択も統計的な問題というよりは論理的・デザイン的な問題となる。
 一番良いのは互いに相関関係にない従属変数を選択することであり、それは独立変数からの影響について、異なる側面を個別に検定できるようになるからである。
 また、例えばStepdown analysisを時のように、従属変数の順番（priority）も大きな問題となる。この順番が独立変数からの影響を左右するからである。
 MANOVAもMANCOVAも検定に含めたサンプル以外に分析結果を一般化することができない点に注意すべきである。

<コメント>
　MANOVAをどのような場面で適切に使用可能か、それとも使用が不適切なのか、長年の疑問だった。そこの点に着目して、通常のANOVAとの明確かつ確実な使い分けを目指したい。

ページトップに戻る

2009/10/29

Chapter 7 (pp. 250-268)

7.3.2 Practical Issues
7.3.2.1 Unequal Sample Sizes, Missing Data, and Power
 異なるセルサイズはMANOVAにおいて大きな問題である(特に欠損値による)。特に従属変数や共分散の数が増えて複雑なデザインになるほど欠損値が出る可能性が増えるので注意が必要。
 また、各セルにおいて従属変数の数よりもケース数を多くする必要がある。
 理由の一つとしては、分散共分散行列の等質性が保たれないためである。従属変数の数よりもわずかに多いぐらいではおそらくその仮説は棄却される。
 もう1つは、従属変数の数よりもケース数が少ないと、十分な検定力が確保できないからである。
 また、MANOVAにおける検定力は、従属変数間の関係性にもよる。
 セル内で、高い負の相関係数が見られた時、検定力は最も高まる。それ以外では低まる傾向。

7.3.2.2 Multivariate Normality
 多変量正規分布(multivariate normality)とは、各セルの従属変数の平均値の分布が正規性を保っていることを指す。このとき全ての変数間には線形の関係が存在する。
 MANOVA, MANCOVAは多変量正規分布を前提としている。
 誤差の自由度が最低20ほどあれば、ANOVAは正規性にはある程度頑健であると言える。
 しかし、外れ値が見られる場合はこの限りではない。
 また、セルのサンプル数が等しくなく従属変数の数が少ない場合、最も少ないセルでサンプルサイズが20程度であれば頑健であるという見解もある(Mardia, 1971).
 MANOVAでは、サンプルサイズが全体で40(各グループ10名)で頑健である(Seo, Kanda, & Fujikoshi, 1995)。

7.3.2.3 Absence of Outliers
 MANOVAは(ANOVAも)外れ値には非常に敏感である。
 外れ値がTypeI&II errorを誘発するが、どっちが起こっているのか見当もつかない。要事前確認。

7.3.2.4 Homogeneity of Variance-Covariance Matrices
 多変量検定の場合、個々の従属変数の母分散共分散行列の等質性が問題となる。
 各セルの従属変数の分散共分散行列は同じ母集団からサンプルされたもの、という前提がある。
 もしサンプルサイズが等しければ有意性検定の頑健性は保たれる。
 しかし、サンプルサイズが異なり、更にBOX検定が0.1%水準で有意ならば頑健性は保障されない。
 より大きなサンプルサイズのセルがより大きな分散を示している場合、帰無仮説は棄却される。
 しかし、より小さなサンプルサイズのセルが大きな分散を示した場合、非常に危険である。
 Pillaiの代わりにWilk’s Lamdaを使用するか、検定力が保たれるならばランダムに数ケースを除外するなど、サンプルサイズの等質化を目指す必要がある。

7.3.2.5 Linearity
 MANOVAもMANCOVAも従属変数間や共分散間に線形性の関係を想定する。
 線形性が見られなければ、(1)独立変数のグループ分けが上手く出来ていない、(2)共分散が誤差の調整ができていない、という理由から検定力を低下させている。
 曲線性が見られた場合は除外するか、もしくは変換を考えるべき。

7.3.2.6 Homogeneity of Regression
 Roy-Bargmannステップダウン検定やMANCOVAにおいて、以下の前提がある。
 あるグループの共分散と従属変数間の回帰は他のグループのそれと同じであるため、全グループの共分散を調整するために回帰の平均を使用することは妥当である。
 従属変数が共分散のリストに入れられていくにつれ、回帰の等質性は分析の段階ごとに要求される。
 ある段階で等質性が見られなくなると、その前提を満たさない従属変数は除外される。
 回帰に等質性が見られない(heterogeneity)ということは、独立変数と共分散に交互作用が見られるということである。もしこの交互作用が見られるなら、MANCOVAの使用は不適切と考えられる。

7.3.2.7 Reliability of Covariates
 MANCOVAでは、共分散の信頼性が高ければF検定はより検定力を増すが、そうでなければType1/2 Errorを誘発する可能性がある。

7.3.2.8 Absence of Multicollinearity and Singularity
 従属変数間の相関が高ければ、他の従属変数との間に線形性が見られるということである。
 しかし、同時に余剰であるということも考えられるため、全ての従属変数を分析に含めるのかどうか、検討する必要がある。
 除外も1つであるが、主成分分析を行いその尺度値を取ることも1つ(全てを使う理論的理由がない場合)。
 SPSSのGLMでは、pooled within-cell tolerance (1-SMC)を算出し多重共線性/単一性を防ぐ。
 MANOVAではセル内相関行列のdeterminantが.0001以下ならば多重共線性/単一性が考えられる。

7.4 Fundamental Equations for Multivariate Analysis of Variance and Covariance
7.4.1 Multivariate Analysis of Variance
 Table 7.1 (p. 254) は、小さいサンプルの従属変数2つと独立変数2つの例を示している。
 計18名のこども（3名×6セル）。各2つの従属変数。
 トリートメントの主効果：Disabilityを考慮せず、トリートメントはWRAT(composite score)に影響するのか。
 交互作用：トリートメントの効果はDisabilityの度合いによって異なるのか？
 Disabilityは分類に必要なだけであるため、その効果はあまり重要なものではない（ある程度リーディングと数学の能力によって定義されてしまうからである）。
 このサンプル数の少なさは現実的ではないが、MANOVAのテクニック表すためには十分である。
 ANOVAでは得点と平均の差を二乗し加算したもの(sum of square)が自由度で割られれば、主効果、交互作用、誤差に起因する分散が推定される。
 MANOVAではS行列が形成される。

<コメント>
　ANOVAも含めて頑健性があると言われているため、つい前提が満たされないときでも使ってしまいがちになるが、外れ値等も含めて前提を慎重に検証する必要があると改めて思った。

ページトップに戻る

2009/11/12

Chapter 7 (pp. 268-277)

7.5.1 MANOVA vs. ANOVAs
 従属変数間に高い負の相関が見られる時にMANOVAは最も良く機能する。次点として、従属変数間に正負を問わず中程度の相関（r ≒ 6）が見られる時も、MANOVAは許容範囲内。
 しかし、従属変数間に高い正の相関がみられる時、もしくはゼロに近い時、MANOVAは適さない。
★高い正の相関が見られる場合
 全体的な多変量検定は行われるが、ステップダウン分析を行うと1番目の従属変数以外が曖昧になってしまう。この場合、単変量検定も適切ではない。
 1つの方法としては、信頼性の高い従属変数を1つ選択するか、合成得点化(単位が同じであれば平均、そうでなければ主成分得点)してANOVAを行う。
★相関がない場合、もしくは因子得点(or 尺度値)の場合
 MANOVAは適切ではない。
 この場合、個別のANOVAでなくMANOVAを用いる利点は、第一種の誤りを防ぐという点のみ。
 しかし、これもボンフェローニの修正を行えばANOVAでも十分である。
★中程度の相関がある従属変数と相関がない従属変数のMIXの場合
 タスクパフォーマンスに関連した中程度の相関が見られる従属変数と、態度に関連した中程度の相関が見られる従属変数があるとする。
 この場合、第一種の誤りに注意して、MANOVAをそれぞれの従属変数の組に対して行うと、とても興味深い結果が出る可能性がある。
 もしくは、一方の組を共変量として多変量共分散分析も1つの方法。

7.5.2 Criteria for Statistical Inference
 MANOVAには様々な検定方法が用意されている(Wilks’ Lambda, Hotelling’s, Pillai’s & Roy’s gcr)。
 効果が2水準の場合、Wilks’ Lambda, Hotelling’s, Pillai’sのF検定は同等になる。
 効果が2水準以上の場合、F値は異なるため(効果がある検定では有意でも他の検定では有意でない)、どの検定結果を採用するか迷うことが多い。
 一般にはWilks’ lambda, Hotelling’s, Roy’s gcrはPillai’sよりも検定力が高い。
 しかし、Pillai’sは他の3つと比べてより頑健であり、サンプルサイズが減少し、nの数がばらつき、分散共分散行列の等質性が保たれないとき、この頑健性が重要になる。
 Wilks’ lambdaが一般的に使用されるため、Pillai’sを使用するだけの理由がない時は、これが第一の選択肢となる。
 多変量Fが有意でないのに、ある1つの従属変数のみの単変量Fが有意な場合も問題である。
 これは、多変量Fは単変量Fやステップダウン分析よりも検定力が高くないためである。
 もしそのようなケースが見られたら、有意でない多変量F値を報告し、今後の展望として単変量の検定やステップダウン分析を提案することが望ましい。

7.5.3　Assessing DVｓ
 MANOVAにおいてもし主効果や交互作用が有意だった場合、どの従属変数が要因の影響を受けたのかを検証するが、繰り返し検定することで起こる第一種の誤りや、高い相関がある場合、重複という問題点がある。

7.5.3.1 Univariate F
 もし従属変数間の相関がゼロならば、単変量ANOVAによって従属変数を評価することができる(主成分得点を使用しない限り完全なゼロにはならない)。
 有意な単変量F値は重要であり、効果量でその重要性を順位づけることができるが、検定を繰り返すので第一種の誤りを気にしなくてはならない(ボンフェローニの修正を使用)。
 しかし、相関がある従属変数の場合、単変量ANOVAの繰り返しには以下の2点の問題がある。
 1つは、相関のある従属変数は同じbehaviorの重複した行動を測定しているとみなされる点である。
 どちらも有意である場合、独立変数が2つの異なるbehaviorに影響していると誤って解釈される。
 もう一方は、第1種の誤りについてである。
 この場合、通常の修正方法は使用できず、また、繰り返しのANOVAによりMANOVAの真髄を著しく犯すことになる。
 いずれにしても、従属変数間の相関係数を示す必要がある(SPSS MANOVAのオプション？)。

7.5.3.2 Roy-Bargmann Stepdown Analysis
 このような相関のある従属変数の場合、ステップダウン分析により問題が解決される。
 最も重要度が高い従属変数を単変量ANOVAで検定する。
 次に、残りの従属変数に対して、上記の従属変数を共変量とするANCOVAを行う。
 連続的なANCOVAは独立しているので、ボンフェローニの修正を用いて検定を行える。

7.5.3.3 Using Discriminant Analysis
 判別分析も従属変数の重要度を検定するために用いることができる。
 従属変数の組み合わせ(トリートメント間の差を最大化するコンビネーション)と従属変数そのものの相関係数の行列が出力され、その組み合わせと高い相関関係にある従属変数が重要と判断される。

7.5.3.4 Choosing among Strategies for Assessing DVs
 単変量ANOVAか、ステップダウン分析か、その選択が常に簡単とは限らない。
 従属変数間に相関があり、重要度の判定に迷う場合は、まずステップダウン分析を行い、単変量Fとpooled within-groupの相関で補うとよい。
 従属変数間に相関がみられるが、重要度の順序が恣意的な場合、まずステップダウン分析が必要。
 そして単変量検定の結果のパターンの観点からステップダウンの分析が納得のいくものであれば、ステップダウン分析の結果を強調できる。
 厄介なのは、単変量検定で有意でなく、ステップダウン分析の結果が有意な従属変数の場合。


7.5.4 Specific Comparisons and Trend Analysis
 有意な主効果が2水準以上な場合、より詳細な事後比較を行いたいと思うことは自然である。
 Post hocを行う場合、第一種の誤りを考慮してSchefféの方法が適していると言える。
 また、シンタックスを用いるとよい。
7.5.5 Design Complexity
7.5.5.1 Within-Subjects and Between-Within Designs
 反復測定もMANOVAに適用可能である。
 また、複数の従属変数を持ちながら、単変量的に被験者内要因を扱うことが可能である。

7.5.5.2 Unequal Sample Size
 要因配置のANOVAにおいて、各セルのサンプルサイズが異なる場合、平方和＋誤差＝総平方和にはならない。平方和の重複を調整する方法は多くあり、それはMANOVAにも適用される。

<コメント>
　MANOVAの使用には批判もある。いつどのような時にMANOVAを使用すればよいのか、今回の担当箇所では明確になっていると思う。従属変数が複数あっても、闇雲にMANOVAを使用すればよいというわけではないと言えるだろう。

ページトップに戻る

2009/12/17

Chapter 7 (pp. 279-295)

7.6 Complete Examples of Multivariate Analysis of Variance and Covariance
 従属変数はSelf-esteem (ESTEEM), Internal versus external locus of control (CONTROL), Attitudes toward women’s role (ATTROLE), Socioeconomic level (SEL2), Introversion-extraversion (INTEXT) and Neuroticism (NEUROTIC).
 MasculinityとFemininityの度合によって4グループに区別（Undifferentiated, Feminine, Masculine, Androgynous）。

7.6.1 Evaluation of Assumptions
7.6.1.1 Unequal Sample Sizes and Missing Data
 1個体のCONTROLにMissing Valueが見られたため削除（N = 368）。
 グループ間でサンプルサイズが大きく異なるため（上記の順にそれぞれ71, 172, 36, 89）、逐次的方法を用いてFeminineにPriorityを置くように調整を加えた。

7.6.1.2 Multivariate Normality (Table 7.11, p. 278)
 N = 368, 2x2被験者間デザイン，それぞれのセルにn > 35, 誤差の自由度が20以上で問題無し。
 歪度も極端ではなく，従属変数間でもほぼ同等。

7.6.1.3 Linearity
 Table 7.11によればバランスの取れた分布状況であるため，特に問題が無い。

7.6.1.4 Outliers (Table 7.12, p. 280)
 z=|3.3|(α=.001)の基準で外れ値は見られなかった。
 マハラノビスの距離で各グループ上位10個体の外れ値を見つけ，カイ二乗検定を行い、多変量外れ値は見られなかった。

7.6.1.5 Homogeneity of Variance-Covariance Matrices
 グループ間で各従属変数の分布を比較した結果、最大がCONTROLのUndifferentiated vs. Androgynous で1.5:1であった。
 サンプルサイズはグループ間で大きく異なるが、分散の差と両側検定の結果、MANOVAに影響なしと判断した。またBoxのM検定の結果、分散共分散行列の同一性が支持された。


7.6.1.6 Homogeneity of Regression
 Stepdown analysisに必要であり、Table 7.13(p. 282)にsyntaxを示す(あるDVが第1段階でDVとして機能し、その後共分散として機能するかの確認)。
 表内のSource of VariationのPoolのところを見る（頑健性のためp値は厳しめ）
 多変量共分散分析（ANCOVA）の場合はTable 7.14.HomogeneityとStepdownの結果が表示

7.6.1.7 Reliability of Covariates
 ESTEEM以外の従属変数がCovariateになるため全て信頼性が高くなくてはならない。

7.6.1.8 Multicollinearity and Singularity
 Table 7.15(p. 285)のシンタックスからプールされたセル内相関行列が見れられ、そのLog-Determinantは-.4336 (determinantは2.71)で、ゼロから十分に離れており、多重共線性は見れなかったと判断された。

7.6.2 Multivariate Analysis of Variance
 Table 7.15には4つの多変量検定の結果(omnibus MANOVA)が示されているが、それぞれの効果の自由度が1であるため、3つのみの結果が提示される(主効果2つのみが有意)。
 従属変数の独立性を検定するためにはTable 7.17(p. 287)の相関行列を見る。ESTEEM, NEUROTIC, CONTROL間の相関が.30以上なのでStepdown analysisに進む。
 単変量ANOVAの結果はTable 7.18に記載。
 Stepdown analysisの結果はTable 7.19に提示。重要な従属変数から順に並べられている。論文に報告する際にはTable 7.20(p. 289)のようにまとめると良い。

<コメント>
　MANOVAが必須かどうかについては未だ疑問が残るが、従属変数間にある程度の相関が見られる場合にはMANOVAを実施してみたい。

ページトップに戻る

2010/2/4

Chapter 7 (pp. 296-310)

7.6.3 Multivariate Analysis of Covariance
・ 従属変数にはESTEEM, INTEXT, NEROTICを、共分散にはCONTROL, ATTROLE, SEL2を使用する。
・ RQは、Attitudeとsocioeconomicを調整した上で、femininity(high/low)とmasculinity(high/low)、そしてその交互作用により生じる個人差が見られるのだろうか。
・ シンタックスと部分的なアウトプットをTable 7.25に示す。
・ 各グループでnが異なるため、Method 3調整法を適用。主効果は有意であったが、交互作用は有意にならなかった。
・ Effect sizeにはPillai’s valueを用い、95%の信頼限界で.00 to .08 (FEM), .08 to .21(MASC), .00 to .01(交互作用)となった。

7.6.3.1 Assessing Covariates
・ Table 7.25の”Effect… WITHIN+RESIDUAL Regression”には、独立変数調整後の従属変数と共分散の関係についての多変量有意性検定の結果が示される。
・ 多変量有意性が示されているので、それぞれの従属変数に対して共分散を独立変数とした重回帰分析を行う必要がある（syntaxにより自動的に算出）。
・ Table 7.26 (p. 298) の上部には一変量検定とステップダウン検定の結果と、回帰分析の結果をPriority順に並べたものをまとめている。
・ 下段の”Regression analysis for WITHIN+RESIDUAL error term”には重回帰分析の結果。
・ ESTEEMに対してはCONTROLとATTROLEが、NEUROTICにはCONTROLのみが有意に関連していた。SEL2は何とも関連しないため機能しないと判断され、分析から除外。

7.6.3.2 Assessing DVs
・ Table 7.17（p. 287）の相関テーブルも参照すると良い。
・ 単変量ANCOVAの結果はTable 7. 27に示される（p. 299）。MASCとFEMにおけるESTEEMとINTEXTのF値が非常に大きいことが分かる。
・ 共分散が調整された独立変数の従属変数に対する効果を見るには、ステップダウンのFと単変量Fの比較が適している。
・ ステップダウン検定の結果はTable 7.28（p.300）に示されている。FEMのINTEXTが有意でなくなった。ここまでの結果はTable 7.29（p. 301）にまとめる。

7.7.1 SPSS package
・ SPSSにはMANOVA (available only through syntax)とGLMの2つがある。
・ どちらのプログラムにもnの数が等しくない場合のための方法や多変量効果を検証するための基準が用意されている。
・ また、SPSS MANOVAが優れている点として、Roy-Bargmannステップダウン検定が行えることがあげられる。
・ さらに、MANCOVAやステップダウン検定に対する回帰の等質性を検定するために、共分散をpoolするシンタックスに対応している点も利点である。
・ 多重共線性を考慮して、主成分分析も行える。しかし、合成変数を分析に使用する場合には、PCAの結果を考慮し、Computeを使用して分析者が自ら算出を行う必要がある。

<コメント>
　各セルにおいて人数が異なる場合、どのように調整すべきか、今後もその方法を調べていきたい。

ページトップに戻る

Discriminant Analysis

2010/2/18

Chapter 9 (pp. 375-384)

9.1 General Purpose and Description
・ 判別分析の目的はある変数のセットから、グループの区別が可能であるかを検証することである。
・ 例えば、「こどもが受験した複数の心理テストの得点から、nondisabled, learning disability, emotional disabilityの妥当な診断が可能かどうか」が挙げられる。
・ 複数の予測要因を用いて平均値の有意差からグループの区別を検討するMANOVAと類似している。
・ しかし独立変数(IV)がグループ変数、従属変数(DV)が予測要因であるが、判別分析ではその逆である。
・ また、MANOVAではどのDVがグループ間の差に貢献しているのかを問題にするものの、DV間の差のパターンには着目しない。逆に、判別分析では「各グループが異なる」側面を理解するために、DV間の差のパターンに着目するという相違点が存在する。

・ 判別分析について複雑なのは、3グループ以上を区別する場合、グループを区別するためのDVのコンビネーションが複数あることである。つまり、複数のDVの組み合わせから、グループを異ならせる様々な側面が考えられると言える(Figure 9.1, p. 376)。
・ 判別分析ではDVの線形的な関係性を持ってグループを区別する。2グループのみの場合はいたってシンプルであり、グループを最もよく区別する関係性は1つのみである(First discriminant function)。
・ 3つ目のグループがあれば、別なDVの線形的な関係性（second discriminant function）が必要となる。
・ しかし、3つ以上のグループであっても一本の線上に平均値が並ぶことがあり、この場合はfirst discriminant functionがグループの区別を説明するものとして扱われる。
・ グループの区別を説明するdiscriminant functionの数は、予測要因の数、もしくはグループ数マイナス１の数よりも少なくなることが一般的であり、この点で判別分析は多変量解析の一種と言える。

・ 上記のこどもの例を考えると、複数の心理テストの得点の1つの組み合わせパターンがnondisabledとdisabledを区別し、別のパターンが2つのdisabilityを区別することになったとする。
・ 分析者がそれぞれのパターン(discriminant functions)にはどのような意味があるのか、そのメッセージを読み取ることが求められ、これはMANOVAでは行われないことである。

・ 共分散分析の判別分析バージョンも考えられる。
・ 要因計画が可能な場合はMANOVAを使うことが一般的である。
・ また、判別分析は被験者内計画に対応していないため、MANOVAやプロフィール分析を検討すべし。

9.2 Kinds of Research Questions
・ 判別分析の目的は、グループが異なる側面と、グループの区別を予測する分類機能を見つけることだが、その目的達成の度合いは予測要因の選択に依存する。
・ また、RQによっては類似の分析MANOVA等でも可能であり、グループ間の人数が異なる場合や正規性の仮定が取れない場合は、ロジスティック回帰の使用も検討すべきである。

9.2.1 Significance of Prediction
・ 集団の帰属関係は、予測要因から妥当に予測が可能か？これは判別分析において主要問題であり、one-way MANOVAの「IVの主効果」についての問題に対応している。

9.2.2 Number of Significant Discriminant Functions
・ いくつのDiscriminant functionが妥当にグループを区別するのかも問題になる。
・ 例えば本章の例のように2つのdiscriminant functionが存在するのであれば、どちらも有意、一方だけが有意、どちらも有意にならない可能性が考えられる。
・ Discriminant functionの最大数は上述の通りでありが、通常は第一のdiscriminant functionが最も重要であり、良くても第二までである。

9.2.3 Dimensions of Discrimination
・ グループを区別する次元はどのように理解されるのか、discriminant function上にグループはどのように位置するのか、予測要因はdiscriminant functionとどのように相関するのか、予測要因のどのようなパターンがどのように機能するのか、これらの問題は9.6.3にて議論される。

9.2.4 Classification Function
・ どんな線形方程式が各個体をグループに区別できるのか、また、予測要因（i.e., 各テスト得点）をどのように組み合わせて区別すればよいのか。

9.2.5 Adequacy of Classification
・ 誤差が生じた場合など、どの程度個体を正確にグループへと区別できるのか？
・ Cross-validationという方法があり、misclassificationがまずい場合は修正の方法がある(9.4.2)。

9.2.6 Effect Size
・ 予測要因と集団の帰属関係はどの程度関連しているのか、また、各グループの分散と予測要因のコンビネーションの分散にはどの程度の重なりが見られるのか。
・ これらは正準相関分析(canonical correlation)で検証が可能であり(9.4.1)、その値を二乗することで説明された分散の割合も算出が可能。

9.2.7 Importance of Predictor Variables
・ どの予測要因が最も集団の帰属関係を予測するのか？(9.6.3.2, 9.6.4)

9.2.8 Significance of Prediction with Covariates
・ 例えば予測要因の一つを共分散として指定した場合、それでも妥当なグループ分けは可能か？(9.5.2)

9.2.9 Estimation of Group Means
・ もし予測要因によってグループ分けを行えたら、これらのグループがどのように異なるのか、例えばその予測要因の標本平均を報告する等の対応が必要である。

9.3 Limitations to Discriminant Analysis
9.3.1 Theoretical Issues
・ 判別分析では、グループはrandom assignmentというよりは自然発生的なものと捉えられるため、なぜその集団の区別の予測が妥当なのか、そして何がその差を作り出すのかは問われない事が多い。
・ randomの場合、その統制が妥当なものであれば正当化は可能であるが、そのrandom assignmentが各グループの差を十分に生み出すのかどうかという問題になる。
・ いずれにしても結果の一般化という点については問題が残る。

9.3.2 Practical Issues
・ グループの分類そのものには「統計的要求」がさほど大きくないため、それが分析の主要目的であれば以降の要件に神経質になる必要がなく、分類が95％の確率で正確に達成できていればよいが、そうでない場合は前提を満たしてない事が考えられる。

9.3.2.1 Unequal Sample Sizes, Missing Data, and Power
・ サンプルサイズが均一である必要はないが、その大きさは分析に大きな影響を与える。
・ 最も小さいグループのサンプルサイズが最低限予測要因の数を上回っている必要がある。

9.3.2.2 Multivariate Normality
・ ランダムサンプリングによる予測要因の測定と、予測要因のコンビネーションが正規分布していることが多変量正規性の条件であるが、後者を検定する最適な方法が現在はない。
・ 外れ値ではなく歪度による正規性の逸脱に対しては頑健な分析である。
・ グループ間のサンプルサイズの差が大きくなるほど、頑健性を保証するためにより大きなサンプルサイズが必要になるが、5つまたはそれ以下の予測要因の場合は20名程度が必要と思われる。
・ サンプルサイズが小さく、かつ不均等である場合は正規性が判断材料となるが、その前提を満たすのが難しい場合は予測要因の変換などが求められる。

9.3.2.3 Absence of Outliers
・ 外れ値には敏感な分析であるため、事前に検定することが重要である。

9.3.2.4 Homogeneity of Variance-Covariance Matrices
・ 統計的推論の場合、サンプルサイズが大きく均一であれば、グループ間の分散共分散行列の不均質に対して頑健である。
・ サンプルサイズが小さく不均等の時、分散共分散行列が不均質であれば有意性検定に誤りが生じる。
・ 統計的推論においては、グループ間の分散共分散行列の不均質に頑健であるが、統計的分類についてはその限りではないため、均質性の検定を行うべき。
・ 検定方法は7.3.2.4の方法(Box’s M ?)か、判別分析の際に出力される、それぞれのグループの最初の2つのdiscriminant functionのプロット図を検証し、大体合っていれば問題がないと考えられる。
・ もし不均質であるとわかった場合は、
１）サンプルサイズが小さく不均等で推論が主目的である場合は、予測要因の変換を行う
２）cross-validationが可能なサンプルサイズで変数が正規分布している場合は別々の行列で分類を行う
３）変数に正規性が見られず、サンプルサイズが小さい場合は、ノンパラメトリックの方法を用いる。

9.3.2.5 Linearity
・ 予測要因のあらゆる組み合わせが線形的であるとの前提があるが、第一種の誤りを誘発するというよりは検定力が減少するという点でさほどシリアスな問題ではないと考えられる。

9.3.2.6 Absence of Multicolinearity and singularity
・ 事前にプログラムがそれを防いでくれる。

<コメント>
　自身の研究でもグループ分けを研究目的にするため、クラスター分析と合わせて活用してみたい。

ページトップに戻る

2010/3/18

Chapter 9 (pp. 384-395)

9.4 Fundamental Equations for Discriminant Analysis
・ 3種類の学習障害のこどもを、4つの変数により3つのグループに分ける（Table 9.1, p. 384）。
・ 4つの変数が、3種類の学習障害のこどもを3つのグループに区別することができるのか、が命題。

9.4.1 Derivation and Test of Discriminant Functins (以降、計算式の話が続く)
・ 4つ変数を込みにした時、3つのグループに区別が可能かを検討。F (8, 6) = 6.58 > 4.15なので、可能。
・ 次に判別関数を検証する。今回は3グループに区別するので、判別関数は2つ。
・ 各個体の判別得点は、各予測変数を正準判別相関係数で重みづけし、それらを足すと算出可能。
・ グループが2つの場合、この負の値は、あらかじめ予測したグループとは別のグループに属することを意味する。

9.4.2 Classification
・ 各個体がどのグループに属するのかは、Table 9.2 (p. 388)の分類相関係数によって各予測要因を重みづけして計算した上で決定される。一番大きな値を示したグループに属する。
Ex. あるこどもがそれぞれの変数で、1, 2, 3, 4という得点を取ったとする。
Group 1: 1.92420 (1) + -17.56221 (2) + 5.54585 (3) + 0.98723 (4) – 137.82892 =
Group 2: ….
Group 3: ….

9.4.3 Computer Analyses of Small-Sample Example (Table 9.3 参照)
Eigenvalues
・ 各判別関数の初期値、説明された分散の合計(%), 正準相関を表示。正準相関係数を二乗することで、各判別関数の効果量が算出される（関数1: .93; 関数2: .85）。
Wilks’ Lamda
・ 有意であれば、各判別関数において、各グループの平均値に有意差が見られたことを意味する。
Standardized Canonical Discriminant Function & Structure Matrix
・ Structure Matrixで、各判別関数において、どの予測要因が有意な要因であったのかを確認できる。
Functions at Group Centroids
・ 各判別関数における、各グループの判別得点の平均値。
Classification Statistics
・ 予め区別されたグループのメンバーが(列左)、分析の結果どのグループに属すると予測されたのか。

<コメント>
　どのテーブルを参照するかは解説書によって大きく異なるようだが、様々なテーブルを見て解釈の可能性を検討したい。

ページトップに戻る

2010/5/13

Chapter 9 (pp. 395-404)

9.5 Types of Discriminant Analyses
9.5.1 Direct Discriminant Analysis
・ 最もスタンダードなこの分析方法は、全ての予測変数が一度に投入されるという点で重回帰分析と類似している。
・ また、全ての判別関数が込みにされ、従属変数が同時に分析される点で、MANOVAにおける主効果の検定と同様である。

9.5.2 Sequential Discriminant Analysis
・ 分析者が決めた順序で予測変数を投入し、その貢献度を評価する方法。
・ 例えば、複数ある予測変数からいくつかを選ばなくてはならない時、もしくは予測変数の重要度について何らかの仮説がある場合には有用な方法である。しかし、サンプルサイズが小さい場合は適さないので、他の分析方法を考慮すべき。

9.5.3 Stepwise Discriminant Analysis
・ 上記の方法と類似するが、予測変数を精選しなくてはならないものの、重要度について基準等が特にない場合、この方法が適している。
・ しかし、投入の順序については批判もあるが、これはCross validation等を行い、確認が可能。

9.6 Some Important Issues
9.6.1 Statistical Inference
9.6.1.1 Criteria for Overall Statistical Significance
・ 有意性の検定には、Wilks’ LambdaやPillai’s等が用いられる。
・ 特にステップワイズ法においてはマハラノビスの距離やRao’s Vも関係する。
・ これらは類推統計値というよりは、記述統計値であるので、注意が必要。

9.6.1.2 Stepping Method
・ ステップワイズ法においては分析の方法として様々オプションが用意してあるが、SPSSで最も容易なものはWilks’ Lambdaである。

9.6.2 Number of Discriminant Functions
・ 区別されるグループ数が3つ以上の場合、二つ以上の判別関数が算出される。
・ 判別関数の数の理論的最大値は、求められる自由度の値以下、もしくは予測変数の数に相当する。
・ 複数の判別関数が得られたとしても、大抵の場合、2番目の関数までが意味をもつものである。
・ また、SPSSの場合、シンタックスを使用すれば、判別関数の数を指定できる。

9.6.3 Interpreting Discriminant Functions
9.6.3.1 Discriminant Functions Plots
・ 判別関数によってグループが区別されているかどうかは、各グループの重心(判別得点の平均値)がどれだけ離れているかによって決定される。
・ 判別関数は軸(x, y)として描かれ(Figure 9.2, p. 399)、各グループの重心はその軸上にある。
・ 4つ以上のグループがある場合には、ペアワイズでプロットが行われる(判別関数1 vs. 判別関数2; 判別関数1 vs. 判別関数3, and so on)。
・ SPSSでは最初のペアのプロットのみを行う。

9.6.3.2 Structure Matrix of Loadings
・ 構造行列(structure matrix)は予測変数と判別関数との相関を表し、各判別関数の意味を解釈することができる(Table 9.3, p. 390; Figure 9.2, p. 399)。
・ 相関係数の基準値は.33だが、サンプルサイズが異なる場合には必然的に低まるので、より低い基準で考える必要がある。
・ ただし、この相関係数は偏相関でないため、注意が必要。

9.6.4 Evaluating Predictor Variables
・ 予測変数の、グループの区別に対する貢献度を検証するには、GLSを使用し、各グループの平均値で比較する方法もある。この場合、複数回の検定を行うので、ボンフェローニの方法でp値を調整する必要がある。

9.6.5 Effect Size
・ 3つの効果量を算出できる。(Table 9.3, p. 390)
・ 分析全体(Wilks’ Lambda) : partial η2 = 1－Λ1/3 = 1－.011/3 = 1-.215 = .78　
・ 判別関数毎: 正準相関係数(canonical correlation)の二乗
・ 予測変数と判別関数の関係：structure matrixの相関係数の二乗

9.6.6 Design Complexity: Factorial Designs
・ Factorial Designでの分析を望む場合、MANOVAを使用する。
・ 交互作用が有意であれば、判別分析の予測変数として用いられる。
・ もし有意でなければ、主効果によってグループの区別を検討する。

<コメント>
　様々な種類の判別分析が存在することが分かった。今後もし判別分析を使用する際には、使い分けを検討していきたい。

ページトップに戻る

2010/5/27

Chapter 9 (pp. 404-412)

9.6.7 Use of Classification Procedures
・ 分類の結果は、Table 9.3 (p. 391)の”Classification Results”のように表示される。
・ 統計上、どのグループに属するのかは、判別関数係数(Table 9.2, p. 388)を用いて計算される。
・ 1個人の各変数を、すべてのグループの関数1つずつに代入し、最も大きな値を示したグループに属すると推測される。
・ また、たとえば60名を分析し、グループ1に10名、グループ2に20名、グループ3に30名が予測されたとする。
(10/60)×10 + (20/60)×20 + (30/60)×30 = 23.3 cases, 39%の正確さ、となる。

9.6.7.1 Cross-Validation and New Cases
・ 判別分析により得られた結果が他のサンプルにも一般化できるかどうかを検証するためには、クロスヴァリデーションが必要である。
・ 1つの方法は大規模なサンプルをランダムに2つに分け、分析を比較する方法。
・ もう1つは、あるサンプルを対象に分析を行い、別なサンプルにその結果を試す方法である。

9.6.7.2 Jackknifed Classification
・ SPSSでは”Leave-one-out法”と呼ばれる。
・ すべての変数を用いて分析を行った後、データを1つ抜いて再び分析を行うという方法である。

9.6.7.3 Evaluating Improvement in Classification
・ シーケンシャル判別分析では、新しい要因を足した時、向上具合をMcNemar’s repeated-measure カイ二乗値で検定することができる(手計算, p. 406)。
・ サンプル数が大きい場合には、より現実的な方法として、新しい要因を足す前と足した後のΛを用いた計算方法が考えられる(計算方法はpp. 406-407)。

9.7 Complete Example of Discriminant Analysis
・ サンプル (3グループ)
⇒女性465名:役割不満主婦(UNHOUSE), 役割満足主婦(HAPHOUSE), 働く女性(WORKING)
・ 予測変数は4つ。
1) internal vs. external locus of control (CONTROL), 2) satisfaction with current marital status (ATTMAR), 3) attitude toward women’s status, 4) attitude toward housework
・ 直接判別分析法による分析を行う。
・ グループが異なる側面、これらの側面に基づいて予測変数がどのようにグループを区別するのか、そしてどの程度正確に区別できるのかを検証する。

9.7.1 Evaluation of Assumptions
9.7.1.1 Unequal Sample Sizes and Missing Data
・ 7つのケースに、予測変数のどれかの欠損が見られた。各予測変数において欠損がランダムであったため、それらが削除され、458名となった。
・ 異なるサンプルサイズは、各ケースがどのグループに判別されるか、その確率に影響するのであり、母集団の実際が反映される。ここではWORKINGのグループに確率のウェイトが置かれるだろう。

9.7.1.2 Multivariate Normality
・ ATTMARの歪度に異常が見られたが、各グループには80名以上がいるため、正規性には問題がなく、結果に歪みは生じないとみなされた。

9.7.1.3 Linearity
・ ATTMARは幾分歪んでいるが、他の変数との間に線形性は維持されているといえる。

9.7.1.4 Outliers
・ z得点で検証したところ、ATTHOUSEにいくつかの外れ値が見られたが、多変量外れ値を探るためにひとまず残された。
・ マハラノビスの距離をカイ二乗検定で見てみたところ、D2 >18.467, つまりp. 408の式を利用し、.081以上を示した2ケースが削除された(Table 9.5 p. 409)。
9.7.1.5 Homogeneity of Variance-Covariance Matrices
・ 検定の結果、同一性が確認された。
9.7.1.6 Multicolinearity and Sigularity
・ 多重共線性や単一性については、特に考慮する必要がない。

9.7.2 Direct Discriminant Analysis
・ 上記の4変数を用いて直接判別分析法を行った。
　Simple – 変数の平均値
　anova & manova – 単変量検定(変数毎グループ間)＆多変量検定(各変数こみのグループ差)の結果を出力
　Pcorr – pooled within-group相関行列
　Crossvalidate – ジャックナイフ法
　Priors proportions – グループに判別される確率

・ Wilks’ lambdaは有意であった。
・ η2は.05, 信頼区間は.02-.08。
・ 各判別関数の正準相関係数は.267, .184で大きくはないが、それほど異なったものではなかった。
・ 各変数の重点はTable 9.4 (p. 418)にプロットしてある。
・ 今回は55％の判別率であった(1 - Error Count Rate of 0.4452)。ジャックナイフ法では52%であった。
・ ランダムに各グループに判別する場合は
　　　　(.52 × 237) + (.30 × 137) + (.18 × 82) = 178.9 cases, 178.9 / 456 = 39％ の確率
・ Table 9.10 (p. 421)に、最終的な表を載せる。

9.6.6 Design Complexity: Factorial Designs
・ Factorial Designでの分析を望む場合、MANOVAを使用する。
・ 交互作用が有意であれば、判別分析の予測変数として用いられる。
・ もし有意でなければ、主効果によってグループの区別を検討する。

<コメント>
　　分析をどのように進めていけばよいのかが良く分かった。本書のすばらしい点は、シンタックスである点を除いて、このように分析の行いかたまで示してくれているところにある。

ページトップに戻る

Multiple Regression

2010/6/10

Chapter 5 (pp.117-121)

5.1 General Purpose and Description
■ 重回帰分析とは複数の独立変数 (IV) から、従属変数 (DV) を予測する分析手法であり、単回帰分析とはIVの数で異なる
■ 重回帰分析は柔軟性のある分析手法であるため、IV間にも相関関係がある場合でも* 分析を行うことができる
■ 重回帰分析の結果は、いくつかの (非) 連続的なIVからDVの適切な予測を示す等式に一般化される

Y’ = A + B1X1 + B2X2 + … BkXk

Y’= 予測されるDVの値
A = 切片
X = 独立変数
B = (それぞれの独立変数に対する) 回帰係数

■ 重回帰分析の目的はβ値 (偏回帰係数) と R値 (重回帰係数) を求めることである
■ 重回帰分析には、通常の重回帰分析、階層的重回帰分析 (sequential = hierarchical regression)、統計的重回帰分析 (statistical = stepwise regression) がある

5.2 Kinds of Research Questions
■ 重回帰分析を行うにあたっては、DVとIVにどの程度の相関があるのかを確認する。これによって、DVに対する各IVの重要性も事前にある程度は推定できる
■ 重回帰分析の目的によっては、あるIVとDVとの関係性に影響する隠れた独立変数について検討することもできる。既に回帰式に独立変数が投入された後に、共分散分析において重大と考えられる他の変数が回帰式に影響を及ぼすかという点を調べることができる (e.g., 数学トレーニングの範囲と難易度を補正した後に、性別が数学のパフォーマンスの予測に貢献するかどうか)
■ 重回帰分析のIVは連続変数でも非連続変数でもよいが、非連続変数の場合は1と0によるダミー変数に変換する必要がある (e.g., プロテスタント = 1、非プロテスタント = 0)
■ ANOVAは、相互作用及び主効果がダミー変数のIVである、重回帰分析の特別なケースと捉えることもできる (cf. 5.6.5)

5.2.1 Degree of Relationship
■ 得られた回帰式がどの程度信頼できるものなのか (統計的に有意であるか) 確認する必要がある (cf. 5.6.2.1)
5.2.2 Importance of IVs
■ 回帰式が有意であれば、どのIVが重要でどのIVがそうでないのかの検証に移る (cf. 5.6.1)

5.2.3 Adding IVs
■ 一度回帰式を算出した後に、新たなIVを投入することによる影響も検証できる (cf. 5.6.2.1 & 5.6.2.3)

5.2.4 Changing IVs
■ 回帰式は線形であるが、IVを再定義することで非線形の回帰分析を行うこともできる
■ 複雑なIVを回帰式に含めた場合に、線形の回帰式を非線形の曲線にfitさせることも可能ではあるが(Cohen et al, 2003)、危険も伴う
■ DVとIVsの関係性については、予想されたYと実際のYのscatterplotをみることで確認することができる

5.2.5 Contingencies among IVs
■ 既に他のIVが回帰式に含まれている場合とそうでない場合で、あるIVがDVに与える影響がどのように異なるかについては、階層的重回帰分析で検証できる (cf. 5.5.2)

5.2.6 Comparing Sets of IVs
■ 1つのDVを予測するのに、ある複数のIVを用いた場合と別の複数のIVから予測した場合の比較を行うこともできる (cf. 5.6.2.5)

5.2.7 Predicting DV Scores for Members of a New Sample
■ IVとDVから得られた回帰式については、別の被験者から得られたIVのデータについてもDVと高い相関が得られた場合は適用することができる (IV: 卒業前のGPA・GRE： DV: 大学院における研究の成果)
■ この回帰式の適用が妥当かどうかは交差妥当性を検証することによって確認できる (cf. 5.5.3)

5.2.8 Parameter Estimates
■ 重回帰分析において推定されるパラメータは非標準化偏回帰係数である
■ あるIVの非標準化偏回帰係数は、他のIVの影響が一定である条件下でそのIVがDVに与える影響を示す
■ パラメータの適切さは重回帰分析の前提がどの程度満たされているかによる (cf. 5.3.2.4)
■ また、変換を行った変数を用いた回帰分析における回帰係数の解釈については、変換前の変数については適応されないので注意が必要である

<コメント>
　重回帰分析は様々な研究で用いられているが、結果の解釈が強引に行われているような研究を見かけることも多い。今後、デザイン案から結果の解釈までしっかりと知識を身に付けていきたい。

ページトップに戻る

2010/6/24

Chapter 5(pp.121-128)

5.3 Limitations to Regression Analysis
■ 回帰分析を取り巻く問題はまだ発展途上であるが、多くの主流な診断法によって回帰モデルの適合度が弱いとされる状況がある

5.3.1 Theoretical Issues
■ 回帰分析によって明らかにされる関係性は因果関係を示すとは限らず、因果関係の検証は論理的、実験計画的な問題である

■ また、回帰分析においてはどのようなIVとDVがより適切なのかといった問題については、鋭い観察や、直感そして残差分布の検定などによって解決されるが、IVに関しては他のIV間との相関がなく、DVのみとの相関が高い変数が好ましいとされる

■ 各IVの重要性については何の検証を目的としているかによって変化し、DVに対するあるIVの有効性の検証であればそのIVは重要と考えられるが、より適切なDVの予測であればそれぞれのIVはそれほど重要ではなくなる

■ 重回帰分析においては残差の分析が理論的にも実用的にも重要である

■ 残差を検討することは、分散に関する前提の確認、予測を不適切にしている変数の把握及び外れ値の発見に役立つ (Chapter 4 & 5.3.2.4)

5.3.2 Practical Issues
5.3.2.1 Ratio of Cases to IVs
■ 求められるサンプル数は分析ごとに必要とされる有意水準や効果量によっても異なるが、有意水準を.05、検出力を.20と定めた一般的な場合ではN ≧ 50 + 8m (m = IVの数) が目安である

■ ただし、DVの分布が歪曲している場合はより多くのサンプル数が必要となる (cf. p.123)

■ また、ステップワイズ法で分析を行う場合にもより多くのサンプル数が必要であり、サンプル数がIVの40倍以上 [N ≧ 40m (m = IVの数)] が妥当である

■ ただし、回帰分析においては外れ値の削除などを行う都合上、できるだけ多くのサンプル数を集める方が望ましい

5.3.2.2 Absence of outliers among the IVs and on the DV
■ 回帰分析においては外れ値が与える影響が大きいため、外れ値に関しては削除するなどの対応が必要とされる

■ 外れ値はDVとそれぞれのIVに対する一変量の極端性によって規定され、平均から極端に外れている値やplotやz-scoreにおいて他のケースと大きく外れている値である

■ 外れ値の処理は回帰分析を行う前か、分析後の残差分析の間で行うのが良い

5.3.2.3 Absence of Multicollinearity and Singularity
■ 回帰係数の計算はIV間の逆行列を必要とするため、IVが単一のものであったり多重共線性が生じていたりする場合は安定した値を産出できない

■ 単一性及び多重共線性はIV間の重相関係数が高い場合、許容度 (1-重相関係数) が低い場合、もしくは多重共線性の診断の結果から判断することができる

■ 回帰における多重共線性は回帰係数の標準誤差によっても検討できる。Berry (1993) によると、rが.9以上の場合には標準誤差が二倍になるために多重共線性が生じていると考えられる

■ また、許容度についても.5や.6以下の場合は回帰係数の解釈に困難性が生じる

■ 多重共線性が生じている場合にはある変数を削除する必要があるが、この場合には統計的に有効な変数を削除するのではなく、論理的に妥当な変数を削除することが好ましい

■ もし多重共線性が生じていて、かつ変数を削除したくない場合には、リッジ回帰を用いることでこの問題を回避できる

5.3.2.4 Normality, Linearity, Homoscedastictiy of Residuals
■ 回帰分析においては、正規性、線形性そして等分散性が確保されている必要があり、残差の分析はこれらの前提を確認することができる

■ もし、データのふるい分けを行う前に残差のプロットを検討した場合には、残差を分析することで回帰分析におけるこれらの前提が満たされるために、データのふるい分けを行う必要はなくなる

■ 残差とは予想されたDVの値と実際のDVの値の誤差のことであるが、仮に残差が正規性を満たしている場合にはFigure 5.1 (a) のような図になる

■ それに対し、正規性の前提が満たされていない場合は残差が偏るためFigure 5.1 (b) のように、線形性の前提が満たされていない場合はFigure 5.1 (c) のように、そして等分散性の前提が満たされていない場合はFigure 5.1 (d) のようになる。

■ ただし、これらの前提のうち等分散性については、それほど分析結果を不安定なものにはしない

■ 場合によっては、線形性と等分散性の診断テストが可能な時もある (Fox, 1991)

5.3.2.5 Independence of Errors
■ 回帰分析におけるあるケースの予想の誤差は他のケースにおける誤差とは独立しているという前提がある

■ ケースの順番と関連した誤差の非独立性は、プロットに対して順番どおりケースを投入していくことによって測定することができる

5.3.2.6 Absence of Outliers in the Solution
■ 回帰式にうまくfitしていないケースは重相関の値を低めるため、このような外れ値のケースを検討することは重要である

■ 残差が大きいケースは外れ値と捉えることができる

■ 残差プロットを検討することによって、外れ値も検討することができる

■ 外れ値を明らかにするための統計的な基準はサンプルサイズに依拠する。これは、サンプルが大きいほど多くの残差が検出されることが多くなるためである

■ サンプル数が1000人以上の場合であれば、±3.3以上を超えた残差が除去する基準となる

<コメント>
　今回の箇所では、特に残差分析の重要性が説明されていた。SPSSで分析を行う場合は残差プロットの出力がデフォルト設定では行われないが、今後はしっかりと検討をした上で分析に移るようにしたいと思う。

ページトップに戻る

2010/7/15

Chapter 5(pp.128-144)

5.4 Fundamental Equations for Multiple Regression
■ 適切な重回帰分析は、複数の独立変数と1つの従属変数のデータを含むサンプルから構成される
■ Table 5.1 はサンプル数が少ないが、重回帰分析の例を示している
■ 本分析における独立変数はprofessional motivation (MOTIV)、a composite rating of qualifications for admissions (QUAL)、及びcomposite rating of performance in graduate courses (GRADE) である
■ 本分析における従属変数はrating of performance on graduate comprehensive exams (COMPR) であり、MOTIV、QUAL及びGRADEからCOMPRをどのように予測できるかを目的とする
■ 本分析の計算例はSPSS REGRESSION及びSAS REGを用いて行ったものである

5.4.1 General Linear Equations
■ 重相関の値を向上させるためには、予測値と実測値のズレを比較するための等式を検討する
■ 予測値と実測値のズレが最も小さい場合に最も適切な回帰式が得られる
■ 実測値、実測値の平均及び予測値のズレによって、回帰式に関わる様々な値を得られる
■ (実測値) － (実測値の平均) を2乗したものの総和は、実測値における個人のばらつきを示す
■ (予測値) － (実測値の平均) を2乗したものの総和は、従属変数の分散を示す
■ (実測値) － (予測値) を2乗したものの総和は、従属変数の残差を示す
■ 従属変数の分散を実測値における個人のばらつきで割ることで、説明率が得られる

5.4.2 Matrix Equations
■ 説明率を測定する他の方法としては、独立変数間と従属変数の相関からも可能である (cf. p.131)
■ 標準偏回帰係数は、標準化された予測値における偏回帰係数のz-scoreのことである
■ この方法による説明率の計算では、各独立変数の標準化偏回帰係数を求めるプロセスが含まれる
■ ただし、本書では各独立変数の式における偏差の算出方法までは言及せず、SPSS MATRIXなどのプログラムを使用した場合について説明する
■ その場合、標準化偏回帰係数は独立変数間の相関マトリックスの逆行列と従属変数と各独立変数間の行列の積によって、標準化偏回帰係数のマトリックスが求められる (cf. Table5.2, 5.3)
■ その結果、今回の例では説明率が.70という値として求まった
■ しかし、今回の方法で標準化されていない偏回帰係数を求めたい場合には、標準化偏回帰係数を変換する必要がある

5.4.3 Computer Analyses of Small-Sample Example
■ Table 5.4 にSPSS、Table5.5にSASを用いた重回帰分析の結果が記載されている
■ 一般的な重回帰分析の場合、結果がModel Summaryの表にまとめられている
■ 重回帰分析におけるF検定は、「その重回帰式が統計的に有意ではない」という仮説を検定している
■ Coefficientsの表では、各独立変数の非標準化偏回帰係数、標準偏差誤差、標準偏回帰係数及び各独立変数の統計的有意さを示すt検定の結果を示している

5.5 Major Types of Multiple Regression
■ 重回帰分析には大きく分けて3種類の方法があり、どの方法を用いるかについては、分析結果の解釈を考えて選択する必要がある
■ Figure 5.2 は従属変数と各独立変数間の関係性を示している

5.5.1 Standard Multiple Regression
■ 標準的な重回帰分析では独立変数が同時に全て投入される (強制投入法)
■ 今回の場合はFigure 5.2 (b) のようになる。つまり、IV1がa、IV2がc、そしてIV3がeの範囲に関してDVの予測に貢献している場合を検討することが可能である
■ 今回の場合は各独立変数が重複した範囲 (bとdの範囲) の貢献は特定の独立変数には反映されないが、説明率に関しては全ての独立変数からの貢献ということでa ～ eの範囲からのものである
■ 標準的な重回帰分析の場合、従属変数の予測に対する各独立変数の純粋な貢献のみが検討される
■ そのため、純粋な貢献がない独立変数が含まれていないかどうかを確認する必要がある

5.5.2 Sequential Multiple Regression
■ 階層的重回帰分析においては、独立変数は調査者の意向による順次投入される
■ もし、独立変数がIV1 → IV2 → IV3の順に投入される形で階層的重回帰分析を行うとすると、Figure 5.2 (c) のようになる。つまり、IV1がa, b、IV2がc, d、そしてIV3がeの範囲に関してDVの予測に貢献している場合を検討することが可能である
■ 階層的重回帰分析における独立変数の投入の仕方は大きく2つに分かれる
■ 1つは、論理的・理論的に従属変数の予測への貢献が大きい変数から順に投入する方法である
■ もう1つは、論理的・理論的に従属変数の予測の貢献が小さい変数から順に投入する方法である。この場合、後で投入される独立変数の影響は事前に投入されていた独立変数の影響を除いたものである
■ Table 5.6にて階層的重回帰分析の例を示しているが、今回の場合はGRADEとQUALが最初に投入され、その後MOTIVが投入されている
■ 1つ目のモデル (GRADE、QUAL) と2つ目のモデル (GRADE、QUAL、MOTIV) 間で説明率に有意な変化が見られないことから (see Sig. F change)、今回はMOTIVの貢献はGRADEとQUALと重複している可能性が高いと考えられる

5.5.3 Statistical (Stepwise) Regression
■ Statistical Regressionは投入される変数の順序が統計的な観点から決定される
■ Figure 5.2 (d) を基に考えると、従属変数の予測への貢献が大きいIV1が最初に投入される
■ 次に、残された従属変数への貢献におけるc, d, eにおいて貢献が大きいIV3が投入され、最後にIV2が投入されるという形式をとる
■ Statistical Regressionは大きく分けてforward selection、backward deletionそしてstepwiseの3種類ある
■ forward selectionは、従属変数の貢献の大きい独立変数から投入していく方法である
■ backward deletionは、全ての独立変数が投入されている状態で、順次貢献の小さい独立変数から除去していくという方法である
■ stepwiseは上記2つの両方の側面を持っている。つまり、順次独立変数を投入していき、ある時点で貢献の小さい独立変数が存在している場合にはその独立変数を除去するという方法である
■ このようにStatistical Regressionは予測の貢献を基準として投入される独立変数を決定するため、より適切な回帰式を得るという目的に適った方法である
■ その反面、独立変数の決定が統計的に行われるため、特定のサンプルから求められた値によって回帰式が大きく左右されるという問題点もある
■ また、階層的重回帰分析とは異なり、それぞれの独立変数が説明率に与える影響についてもほとんど考慮することができない
■ (独立変数の投入順が統計的な値に依存するため) Statistical Regressionでは交差妥当性の検討が強く推奨される
■ 交差妥当性を検討するには、サンプルを80%の分析群と20%の交差妥当性群に分割して重回帰分析を行い、説明率を比較する。そして、説明率間の差が少ない場合には回帰式に一般性があると捉える (SASを用いた場合の例がTable 5.7、5.8)
■ その結果、交差妥当性群の説明率が.818に対して分析群の説明率は.726となり、交差妥当性が得られたと考えられる (本来は、交差妥当性群 > 分析群 となることはほとんどない)
■ 回帰式のover fittingを避けるための指標として、bootstrappingという指標がある
■ boostrappingとは、回帰式から得られた値をデータセットから複製された莫大なサンプルによって検証する方法であり、SPSSのマクロによって使用可能になる

5.5.4 Choosing among Regression Strategies
■ 変数間の関係性や重相関の基本的な問題を解決するためであれば、標準的な重回帰分析の使用が推奨されるが、標準的な重回帰分析の濫用も好ましくはない
■ それに対し、明確な仮説を検証したい時、論理や理論的背景によってある独立変数の重要性を主張したい時は階層的重回帰分析が推奨される
■ また、階層的重回帰分析とStatistical Regressionは類似しているように思えるが、独立変数の投入のされ方、そして結果の解釈 (後者はモデル構築型よりはモデル検証型) の点で異なる
■ それぞれの分析を行う目的を今回の分析例から説明する
■ 標準的な重回帰分析の場合はCOMPRと他の独立変数間の関係性、それぞれの独立変数の従属変数に対する純粋な予測の貢献を明らかにできる
■ 階層的重回帰分析の場合は、例えば、QUALとGRADEの影響を取り除いた場合にMOTIVがCOMPRの予測に貢献するのかどうかを明らかにする
■ Statistical Regressionの場合は、従属変数であるQUALを予測するのに最も適切な回帰式にはどのような独立変数を用いればよいかを明らかにする

<コメント>
　今日の担当箇所で書かれていたように、重回帰分析といっても目的によって分析手法を変える必要性がある。各手法の長所及び短所をしっかりと考慮した上で、研究のデザインに合った適切な手法を選択できるようにしたい。

ページトップに戻る

2010/7/22

Chapter 5 (pp. 144-153)

5.6 Some Important Issues
5.6.1 Importance of IVs
■ もし独立変数間で相関関係がない場合は、各独立変数の従属変数への貢献を計算するのは容易である
■ その場合、相関係数や回帰係数の大きい独立変数がより重要であると考えることができる
■ しかし、独立変数で相関関係がある場合は、従属変数への貢献において独立変数間で重複が存在する
■ このような場合、重回帰分析を行う際の手法に応じて独立変数間の関係や独立変数と従属変数の関係について考慮する必要がある
■ いずれの分析手法にも共通している点として、独立変数と従属変数の関係、他の独立変数の影響を排除した独立変数と従属変数の関係、そして独立変数間の関係を明らかにする必要がある (Figure 5.3)

※ squared correlation (r2：相関係数)
semi-partial correlation (sr2：部分相関係数)
→相関を求める2つの変数のうち、1つの変数から第3の変数の影響を除いた場合の相関係数
partial correlation (pr2：偏相関係数)
→相関を求める2つの変数のそれぞれから、共通の第3の変数の影響を除いた場合の相関係数
(南風原, 2002)
5.6.1.1 Standard Multiple Regression
■ 標準的な重回帰分析においては、sr2は従属変数に対する各独立変数の純粋な貢献を示すため、独立変数間に相関関係が見られる場合はsr2の和がR2より小さくなる (独立変数間の相関係数が大きいほど、sr2はR2よりもより小さくなる)

5.6.1.2 Sequential or Statistical Regression
■ 階層的・統計的重回帰分析の場合は、sr2はある独立変数を投入した時点で、その独立変数がR2に貢献する値を示すため、sr2の和はR2と合致する
■ 各独立変数の重要性はその時点で回帰式に投入されている独立変数によって左右される

5.6.2 Statistical Inference
■ 本節は重回帰分析の結果得られた回帰式の値について、有意性を判定するための方法を説明する
■ 分析者が回帰分析の結果について推論を加えるためには、それぞれの値に関して様々なテストを行って確かめる必要がある

5.6.2.1 Test for Multiple R
■ 重相関のRの有意性を判定するには、重相関が0であるという仮説を棄却する方法がある
■ 統計ソフトにおいては分散分析のアウトプットが出力される
■ 階層的重回帰分析においては、全ての独立変数が投入された段階に関し分散分析の結果が出力される
■ ただし、この場合は全ての独立変数が投入されるとは限らないため、F比について調整が必要となる
■ 被験者数、分析に使用予定の独立変数 、F比を基にR2について調べる必要がある (Appendix C)

5.6.2.2 Test of Regression Components
■ 統計ソフトにて標準的な重回帰分析を行った場合は、非標準化回帰係数などの値についてt検定の結果が出力される
■ ただし、このt検定の結果は各独立変数のR2に対する純粋な貢献のみに基づいている
■ つまり、いくらR2への貢献が大きい独立変数であっても、その独立変数と相関関係が強い独立変数が回帰式に含まれる場合は、その独立変数が有意にならない可能性もありうる
■ そのため、重回帰分析の結果を報告する際には独立変数間の相関係数を掲載する必要がある
■ 階層的・統計的重回帰分析の場合は偏回帰係数の測定が複雑であるため (sr2は偏回帰係数とは異なる)、コンピュータ上ではそれぞれの偏回帰係数の有意性などは表示されないものもある

5.6.2.3 Test of Added Subset of IVs
■ 階層的・統計的重回帰分析の場合は、2つ以上の独立変数を同時に投入した場合のR2の変化量の有意さについても調べることができる
■ この場合、R2の変化量が0であるという帰無仮説を棄却することで検討することになる
■ 今回の分析例の場合、1つの独立変数を投入した場合のR2の変化量を調べることになるため、Table 5.6で示されているF比と一致する

5.6.2.4 Confidence Limits around B and Multiple R2
■ 非標準化偏回帰係数の信頼区間を計算することによって、母集団を推測することができる (see 5.12)
■ もし95%の信頼区間が求められる場合、SPSSの回帰ではCoefficentsのアウトプットにて出力される
■ もし、95%以上の信頼区間などが求められる場合は (5.12) の計算式を用いる必要がある
■ また、説明率の信頼区間を計算することによっても、母集団を推測することができる
■ 説明率の信頼区間については計算プログラムが用いられてきており、SASやSPSSの出力に含まれるF比と自由度を用いることによって算出することが可能である

5.6.2.5 Comparing Two Sets of Predictors
■ とある従属変数を予測するのに、ある独立変数群 (A) と別の独立変数群 (B) のどちらを使用した方が適切な回帰式が得られるかについても検討することは可能である
■ ただし、被験者の人数が多く、2種類の結果によって結果を発展させる気があり、また、従属変数と独立変数群 (A) 及び従属変数と独立変数群 (B) の相関係数の間に有意さを調べることが可能であることが条件である
■ 5.4.1で見たように、重相関の値は実際の従属変数の値と予測された従属変数の値との相関係数と一致するので、独立変数群 (A) と従属変数の重相関係数と独立変数群 (B) と従属変数の重相関係数に有意さがあるかどうかを調べる必要がある

ページトップに戻る

2010/8/26

Chapter 5 (pp. 153-161)

5.6.3 Adjustment of R2
■ 単純な相関係数が被験者によって変化するように、Rも被験者数の影響を受けて変化する
■ しかし、重相関係数のRは決して負の値をとらないことから、この被験者数による誤差も正の値として生じる。つまり、重相関係数のRは誤差が大きいほど値がより大きく推定されることとなる
■ そこで、大きく推定されたR2を正しく修正するために、(5.14) のような式が用いられる (SPSSでは通常出力される)
■ 統計的回帰分析においては、Cohen et al. (2003) が分析に含まれるIVではなく実際に分析に用いられたIVの数 (k) に基づいた調整式を主張している
■ しかし、被験者が60人に満たず、IVが多数に分析に用いられている場合には (5.15) の式は用いるべきではない
■ このような場合は Browne (1975) の提案した (5.16) の式が適切であり、この式であれば少ない被験者数であっても、多くの被験者数を確保できた場合の (5.15) と同様の役割を果たす
■ また、被験者数が50に満たない場合については、Cattin (1980) も修正式を提案している

5.6.4 Suppressor Variables
■ 他のIV間の相関によりDVの予測とR2への貢献をするようなIVを抑制変数という。抑制変数はDVの予測に貢献しない変数を抑制する
■ 例えば、ダンスパターンを挙げる能力テストと受験能力テストという2つのIVからベリーダンスの能力というDVを予測する場合、前者のIVのみがDVを予測すると考えられる
■ しかし、受験能力という背景において、ダンスパターンを挙げる能力テストとベリーダンスの能力の関係性は強くなると考えられる
■ このような場合に、受験能力テストを独立変数から除外することによって、ダンスパターンを挙げる能力のみからのベリーダンス能力の予測力が向上する (正確になる？)
■ また、あるIVsにおいてそれぞれがDVとは正の相関を持ってはいるが、IVs間では相関が負の値を示す場合も抑制変数であると考えられる
■ 例えば、ダンスパターンを挙げる能力テストと過去の音楽的トレーニングという2つのIVがあり、それぞれのIVがベリーダンスの能力をいくらかでも予測するのにも関わらず、これらの2つIV間の相関が負の値を示すことがありうる。このような場合、両方の予測変数という観点からは、2つのIVを投入するよりもそれぞれのIVのみだけの方が、予測力 (回帰係数？) が高いと考えられる
■ さらに、回帰式におけるIVの重みとDVとIV間の相関係数とで符号が異なるという場合がある
■ 例えば、ベリーダンスの能力はダンスステップの知識と過去のダンストレーニングという両方のIVから正の予測が行われ、IV間でも正の相関がみられたとする。しかし、過去のダンストレーニングの回帰係数が負の値を示すことがある
■ このような場合に、(符号は異なるが) 過去のダンストレーニングの回帰係数の値がダンストレーニングとベリーダンス能力との相関係数よりも高い場合、ダンストレーニングのIVはダンスステップという抑制変数によって抑制されていると考えられる
■ 統計結果の出力において、これらの抑制変数の存在は回帰係数と相関係数によって示すことができる
■ DVとIVの相関係数とIVsからの重回帰分析を行った場合のベータ値を比較した時に、ベータが有意でありかつ相関係数がベータ値よりも極端に小さかったり、相関係数とベータ値の符号が逆転していたりする場合には抑制変数が存在していると考えられる
■ 抑制変数が存在している場合には、その変数が無関係な変数を抑制しており、その結果として他のIVsの重要性を向上させていると解釈する必要がある

5.6.5 Regression Approach to ANOVA
■ 分散分析も一般線形モデルであるため、連続的でない水準を持つIVによる重回帰分析として捉えることも可能である
■ 分散分析の場合は分けられる群の数によって一定の被験者数が要求されるが、重回帰分析による分析ではそのような制限はない
※ 下位検定を行うことはできないが、IVの主効果及び交互作用の有無 (小塩, 2007) を検討する場合に有効である

5.6.6 Centering When Interactions and Powers of IVs Are Included
■ 連続的でないIV間で交互作用が生じることはANOVAでは一般的であるが、連続なIV間の交互作用についても分析の対象になることがある
■ 例えば、学歴 (高校、大学、それ以上) と収入 (上流、中流、下流) をIVとして、教育の重要性をDVとした場合に、IV間で交互作用があったとすると学歴及び収入の一方を水準とした場合のslopeが必要となる
■ しかし、交互作用が生じている場合に投入される交互作用項 (IV1×IV2) は多重共線性を引き起こす可能性があるため、それぞれの水準が0という中心を持つ変数に変換 (centering) する必要がある
■ CenteringはIV1とIV2 のそれぞれの変数からそれぞれの平均値を引くことによって行う (小塩, 2007)
■ Centeringは変数の平均値、SD、他変数との相関係数及びIVの有意性には影響を及ぼさないが、回帰係数には影響を及ぼすため、標準偏回帰係数などは変換前の値と同様には解釈できない
■ 重回帰分析によって交互作用が有意であった場合にはANOVAと同様に下位検定が必要である
■ 連続的なIV間の交互作用を検討する場合、被験者数が多ければSEMの使用が薦められる場合もある

5.6.7 Mediation in Causal Sequence
■ 仮説的な因果関係を検討する場合に、分析に使用されたIVとDVの関係には間接的な要因が含まれている場合がある
■ 例えば、性別とヘルスケアへの訪問回数の関係性を考えるとき、性別とヘルスケアへの訪問回数の間には性格が含まれると考えられる。つまり、性別によって性格が異なるために、ヘルスケアへの訪問回数が増えるという可能性がある
■ このような間接的な要因 (mediator) に関して、IVとDVに有意な相関がある場合、IVとmediatorの間に有意な相関がある場合、IVを統制した後もmediatorがDVを予測に貢献する場合、またmediatorが回帰式に含まれるとIVとDVの関係性が弱まる場合にはmediatorが存在する可能性がある
■ mediatorを回帰式に含めた場合に、IVとDVの関係性が弱まらない場合は (a)、IVとDVの関係性が弱まった場合は (b)、IVとDVの関係性がなくなってしまった場合は (c) のようになる (p.160)
■ Sobel (1982) はIVとDVの全体的な関係性 (相関) とIVとDVの直接的な関係 (偏相関) の差異によって、mediatorの存在について検討できるとした
■ 前述の例で言えば、性格という要因を加えることによって性別とヘルスケアへの訪問回数の関係性が変化するかを確かめることである
■ Sobel (1982) の手法を用いた検討方法について、Preacher and Hayes (2004) はSPSS及びSAS のマクロを使用した方法を提案している
■ また、間接的な要因の影響力についてはSEMを用いることによっても検討が可能である

ページトップに戻る

2010/9/30

Chapter 5 (pp. 161-194)

5.7 Complete Example of Regression Analysis
■回帰分析の例としてSPSSを用いた分析例を2種類紹介する
■いずれの分析例も、IVは「身体的健康状態 (PHYHEAL)」、「精神的健康状態 (MENHEAL)」及び「生活ストレス (STRESS)」の3つであり、DVは「ヘルスケアへの訪問回数 (TIMEDRS)」である。また、協力者のサンプル数は465名である
■1つめの分析例は標準的 (強制投入法) による重回帰分析である。この方法の場合、独立変数と従属変数の関係及び回帰式によって予測された従属変数の分散比などを明らかにすることができる
■2つめの分析例は階層的な重回帰分析である。今回は、PHYHEAL、STRESSそしてMENHEALの順にIVを投入していく。この方法では、各段階において既に他のIVが投入されている条件においても投入される変数が従属変数の予測に貢献するかどうかを明らかにすることができる

5.7.1 Evaluation of Assumptions
■今回はいずれの分析においても同じ変数を用いているため、本節でのデータ処理は共通している

5.7.1.1 Ratio of Cases to IVs
■サンプル数の条件 (104 ＋ IV数: 今回は107) は満たしており、欠損値はなかった

5.7.1.2 Normality, Linearity, Homoscedasticity, and Independence of Residuals
■今回は分析例であるため、分析前の段階で残差によるスクリーニングを行った
■SPSSの場合は、予測される従属変数に対する変換前の残差のプロットを表示できる (Figure 5.7)
■Figure 5.1 (p.126) と比較してもわかるように、今回のデータは変数の分布に関して重回帰分析の前提を満たしていないように考えられる
■このような場合、SPSS EXPLOREを使用して変数の分布を調べることができる (Table 5.12)
■その結果、全ての変数が有意な歪度を示しており、このことは残差のプロットに影響を及ぼしていた可能性がある
■そのため、対数変換もしくは平方根変換を行い、TIMEDRSとPHYEALをLTIMEDRSとLPHYHEALに変換し、STRESSをSSTRESSに変換した (MENHEALは変換が逆効果であったため実行しなかった)
■変数を変換した結果、残差のプロットはFigure 5.8のようになった

5.7.1.3 Outliers
■一変量の外れ値はTable 5.12におけるExtreme Valuesのアウトプットから見つけることができる
■今回の場合は他の値と離れているTIMEDRS及びSTRESSにおける値が該当する (z-scoreも大きい)
■ただし、これらのデータも変数の変換によって分析対象として用いられると考えられる
■多変量の外れ値は変換後の全てのIVを用いた重回帰分析におけるマハラノビス距離によって行うことができる (Table 5.14)
■マハラノビス距離は独立変数の数を自由度としたカイ二乗分布に従う変数であり、その有意水準と対応する値 (e.g., df = 3の時16.166) より大きい値は外れ値とみなす
■今回は多変量外れ値は見つからなかったが、もし見つかった場合にはChapter4の方法で対応する必要がある

5.7.1.4 Multicollinearity and Singularity
■いずれの変数においても1-重相関係数によって示される許容度が0に達していなかったことから、多重共線性の問題は生じていないと考えられる
■実際に変換後の独立変数を用いた分析においても (Table 5.15)、元の許容度の値が大きく変化することもなく、また独立変数間において相関が大きいところでも.511であったことからも単一性、多重共線性も問題は回避されていると思われる

5.7.2 Standard Multiple Regression
■SPSSによって標準的重回帰分析を行った結果得られたアウトプットをTable 5.15のように示す
■今回は、記述統計、相関係数、R、R2と修正付きR2及び回帰式の分散分析の結果を出力した
■まず、R (回帰式) の有意性検定のためのANOVAを行ったところ、p < .001で有意であった
■Coefficientsにおいてはそれぞれの変数について有意確率、信頼区間及び相関係数 (Zero-orderは相関係数、Partは部分相関係数、partialは偏相関係数) が示してある
■各変数の有意性についてはt検定によって検定され、今回はSSTRESSとLPHYHEALが有意であった
■各変数の偏相関係数は、その変数が除外された時にR2がどの程度減少するかを示す。つまり、今回有意であったR2からSSTRESSとLPHYHEAL の部分相関の二乗の差を求めることで、従属変数の予測に関して独立変数が重なっている部分の大きさを調べられる (.3772 - .1722 - .4392 = .155)
■また、回帰式においては有意でなかったMENHEALであるが、DVとの相関は有意であった
■そこで、5.10のような回帰式 (Fi = sri2 / (1 – R2) / dfres) を用いて、下位検定として2変数間の回帰係数の有意性を検定したところすると、F比は有意であった。そのため、今回の回帰分析におけるMENHEALの影響は他の変数間との関係性などによって有意でなくなったものと判断できる
■これらの結果を専門的なジャーナルに掲載できるようにまとめたのがTable 5.16であり、分析の際のチェックリストがTable5.17である

5.7.3 Sequential Regression
■SPSSによって標準的重回帰分析を行った結果得られたアウトプットをTable 5.18のように示す
■まず、最初の段階ではLTIMEDRSとLPHYHEALの二変量の関係を検定したところ、相関 (.586) は有意であった
■次に、SSTRESSが投入された段階ではLPHYHEALとSSTRESSが回帰式に含まれていることになるが、この段階においても回帰式は有意であった
■最後にMENHEALが投入された段階ではLPHYHEAL、SSTRESS及びMENHEALが回帰式に含まれていることになるが、最終的なこの段階の回帰式も有意であった
■また、SSTRESSがLTIMEDRSの予測におけるuniqueな貢献を調べるには、R2の変化量を確認する。すると、偏相関の二乗はLPHYHEAL = .343、SSTRESS = .033、そしてMENHEAL = .00 となっていることがわかる
■また、この貢献の有意性を検定するには、F比の変化量を調べる。今回はSSTRESS = 24..772であったのに対しMENHEAL = .183であったことからもR2への貢献は見られない
■すると、今回はLPHYHEALとSSTRESSが要因に含まれている場合には、MENHEALはLTIMEDRSのuniqueな予測として貢献しないということがわかる
■分析結果の記述例をTable 5.19、分析の際のチェックリストをTable 5.20に示す

<コメント>
　重回帰分析について具体的な分析例が説明されていた。実際にジャーナルに掲載されている論文において残差の確認等まで丁寧に行っている研究は数少ないが、自分で回帰分析を行う場合には適切なプロセスを経た分析を行いたいと思う。

ページトップに戻る

2010/10/7

Chapter 11 (pp.506-517)

11.1 General Purpose and Description
・生存分析とは、「ある現象が発生するまでの時間」を取り扱う分析である。
・特徴としては、生存時間(従属変数)がケースによって最後まで分からないことがある、ことである。
・つまり、観察期間中に何らかの理由によって分析から除外されるケースが発生する(e.g., 死亡、脱走、破損等で観察が打ち切られるケース)。これを「打ち切り」(censored)という。
・このような不完全なケースでも途中までは観察対象であったため、分析そのものから除外することはデータを歪める原因となる(このような打ち切りデータを含めるのも生存分析の特徴)。

・研究目的やデータの質によっても取られる手法が異なる。
(1) 生存関数 (survival function)
-複数グループの生存率を時間の経過に応じてプロットし、差異を統計的に検証

(2) 回帰的手法
-生存時間に影響すると想定されるその他の予測変数を含む検証(対数曲線モデル(log-linear): 打ち切りデータを扱うため)

・注意が必要なのは、ここでは独立変数は全て共変量(covariate)と呼ばれることである。
・本章では、グループ間に見られる生存時間の差異の検証を取り扱う。

11.2 Kinds of Research Questions
・分析の主な目的は、異なる時間における生存ケースの割合を検証することと、生存時間と共変量(トリートメントの効果)の関係性を検証することの2つである。

11.2.1 Proportions Surviving at Various Times
・生存の(脱落の)割合はLife Tableによって表示され、生存関数によりグラフで表わされる(11.4)。

11.2.2 Group Differences in Survival
・グループ毎に生存率は異なるのか？有意差が見られれば、Life Tableや生存関数はグループ毎に出力される(11.4.5)。

11.2.3 Survival Time with Covariate
11.2.3.1 Treatment Effect
・ある変数(年齢とか)を統制した場合、グループ間に差が見られるのか？

11.2.3.2 Importance of Covariates
・共変量は生存時間に関係するのか？するならば増やすのか、それとも減らすのか。

11.2.3.3 Parameter Estimates
・推定されるパラメータは回帰係数。確率?(odds)として表わされる。

11.2.3.4 Contingencies among Covariate
・ある共変量は、それそのものだとグループ間の差に影響するが、他の共変量を統制すると、その影響が無くなる可能性がある。

11.2.3.4 Effect Size and Power
・生存/脱落と共変量の関係の強さは？(R2; 11.6.3)

11.3 Limitations to Survival Analysis
11.3.1 Theoretical Issues
・分析上、時間 (結果変数)そのものが問題となる。死亡や脱落が分析前に起こらなくてはならないが、トリートメントの本質は、それらを遅らせることにある。トリートメントの成果が上がるほどタイミングの良いデータ収集が難しいと言える。
・また、因果推論も、experimentalな条件をしっかり整えない限り見えない点に注意が必要。

11.3.2 Practical Issues
・回帰的な分析を行う場合は、正規性や線形等が検定力に影響する。

11.3.2.1 Sample Size and Missing Data
・生存分析のベースは多くのサンプル数を要する最尤法 (60名なら5共変量未満)。
・Right-censored case – 最後まで脱落しなかったり、観察途中で脱落したりするケース
・Left-censored case - 観察前に病気の急激な進行等criticalなeventが起こった場合 (11.6.2)

11.3.2.2 Normality of Sampling Distributions, Linearity, and Homoscedasticity
・必須ではないが、満たされていれば検定力が向上し、外れ値にも対処できる。

11.3.2.3 Absence of Outliers
・外れ値は結果に大きく影響するので、事前の対処が必要である。

11.3.2.4 Differences between Withdrawn and Remaining Cases
・実験研究である場合、欠損値があるケースが、欠損値がないケースとシステマティックに異なる場合、ランダムアサインメントによる結果としては見られなくなり実験ではなくなるため、要注意。

11.3.2.5 Change in Survival Conditions over Time
・観察開始時と終了時で、生存に影響する要因は同じものである。

11.3.2.6 Proportionality of Hazards
・予測要因の効果の検証にはCox proportional-hazards modelが用いられ、生存関数の形状が全てのケース、グループで同様であることを仮定する。


11.3.2.7 Absence of Multicollinearity
・重回帰と同様、共変量間の多重共線性には注意を払う必要がある(SMC > .90で除外)。

11.4 Fundamental Equations for Survival Analysis
・Table 11.1 (p. 511)はベリーダンサーが、トリートメントと年齢により、どの程度クラス受講を継続したかを検証するデータである。Dancingは0が継続、1が脱落を表す。従って、ケース12のみ最終的な継続期間は不明。
・Treatment (0, 1) はプレ指導としての夕食会。年齢は後の分析で扱う。

11.4.1 Life Tables
・Table 11.2 (p. 512)　1.2ヵ月間隔で、生存関数は式11.1 (p. 511)により計算される。
・統制群の第1インターバルでは7人が対象、1人が脱落。生存率は85.7% (p. 513)、cumulative

11.4.2 Standard Error of Cumulative Proportion Surviving
・式11.2参照 (p. 513)

11.4.3 Hazard and Density Functions
・Hazardとは脱落率(proportion dropped)であり、式11.3 (p. 514)で求められる。
・Probability densityとはインターバルの中間地点で生存していない確率。式11.5
・両者の違いは、Hazardはインターバルの開始時点では生存していたケースと、そのインターバル内のある特定の時に脱落したケースの瞬間的なRATE. Densityは、ある特定の時点で脱落したケースのProbability。

11.4.4 Plot of Life Tables
・Table 11.2では、0カ月ではどちらのグループもCumulative Proportion survivingが1.000であったのに対して、1.2カ月では統制群が.857に減少、実験群は1.000を保った。

11.4.5 Test for Group Differences
・生存分析におけるグループ差の検定は、カイ二乗検定による (Log Rank in SPSS KM)。
・全体の式は11.7 (p. 515)
・自由度は(グループ数－1)で、2グループの場合どちらも同じカイ二乗値が得られる。
・検定の結果、log-rank testでは有意差が見られなかった (p. 517)。

<コメント>
　SLAの分野ではあまり使われていない統計的手法であるが、何らかの効果の持続(retention etc.)を検証することに応用できそうである。しっかり勉強したい。

ページトップに戻る

2010/11/4

Chapter 11 (pp. 517-535)

11.4.6 Computer Analyses of Small-Sample Example
・ Table 11.3-シンタックス、Table 11.4-Life Table
・ 生存時間の中央値と生存関数(実験、統制)、両群の比較(Wilcoxon)はp. 520に。
・ Table 11.4はSASのシンタックスと出力。SASは中央値から検定を行うのに対して、SPSSは各インターバルの開始時から検定を開始するという違いがある。

11.5 Types of Survival Analyses
・ 2種類の生存時間分析：Life Table(生存者の割合、生存関数、群間差の検定)と共分散からの生存時間の予測。前者はKaplan-Meier法、後者はCox regressionを用いる。

11.5.1 Actuarial and Product-Limit Life Tables and Survivor Functions
・ Product-Limit (Kaplan-Meier法)が一般的には用いられる。
・ 生存統計値があるイベントが起こった時点で計算され、平均値や中央値が算出される利点がある。

11.5.2 Prediction of Group Survival Times from Covariates
・ Cox regressionが一般的に用いられ、通常の回帰分析と同様にdirect, sequential, statisticalによる分析方法が可能である。
・ 2水準の場合は実験群が1に、統制群が0に割り振られる。

11.5.2.1 Direct, Sequential, and Statistical Analysis
・ Directでは変数が一度に投入される。
・ Sequentialでは分析者の意図により投入の順序が異なる。非実験系の変数を最初に投入し、次に実験系の変数を投入する方法が典型的。
・ Statistical (stepwise)は変数の意味が考慮されず、統計的な基準によって投入順序が決まるという点で賛否両論な方法である。
・ このようなデータ主導型の分析は分析初期に非実験系の変数の影響力を探る点で利用可能であるが、一般化が難しく、それを基にした判断には危険が伴うため、cross validationは必須である。

11.5.2.2 Cox Proportional-Hazards Model
・ この方法は脱落や死亡などの割合を、予測変数の対数線形関数としてモデル化する。
・ 回帰係数は、それぞれの予測変数の生存関数に対する効果を表す。
・ Table 11.6 (p. 528)はSASによるCox regressionの出力結果を示す。
・ Likelihood Ratioは予測変数のコンビネーション(年齢とトリートメント)が生存時間を予測するかどうかを検定する。
・ Chi-Squareは個々の予測変数の有意性検定である。ここでは年齢は有意であったが、トリートメントは有意ではなかった。
・ Table 11.7はSPSS COXREGの階層的回帰分析の結果を表す。Block 0がモデルフィットを表す。
・ Step 1 (Block1)では年齢のみの効果を表し、有意であった(Wald検定とlikelihood ratio test)。
・ しかし、トリートメントはWald検定の結果有意ではなかったものの、Likelihood ratio testでは有意な変化を示した。しかし、今回はサインプルサイズが極小なため、Wald検定の結果を採用した方が安全であると言える。

11.5.2.3 Accelerated Failure-Time Models
・ このモデルは、Coxモデルのgeneral hazard関数を、特定の分布に置き換える。しかし、分布を選択するには使用者自身が熟練している必要があり、SPSSにはこのプログラムが用意されていない。
・ この分析の結果、年齢とトリートメントの効果がどちらも有意であった。
・ Table 11.9 (p. 534) にSASで選択できる分布の説明がまとめられている。

11.5.2.4 Choosing a Method
・ 最も分かりやすい方法はCox regressionであり、Accelerated Failure-Time modelよりも頑健である。

11.6 Some Important Issues
11.6.1 Proportionality of Hazards
・ 今回のトリートメントのような予測変数の水準差の分析にCox regressionが用いられる場合、生存関数の形がグループ間で同じである、という仮説が立てられ、それを検証するためにはフォーマルな検定が必要である。
・ この場合は時間と年齢、時間とトリートメントの交互作用が有意でなければ、Table 11.7で示された検定が正しく行われていたということを示す。
・ もしその仮説が棄却された場合は、その交互作用を含めてDirectもしくはSequentialの回帰分析を行う必要がある。

<コメント>
　目的に応じて様々な生存分析があるようである。私自身にはあまり身近でなかったロジスティック回帰等を合わせて勉強する必要があると感じた。

ページトップに戻る

2010/12/9

Chapter 11 (pp. 536-547)

11.6.2 Censored Data
・ 「打ち切り」(Censored Case)とは、研究の対象としている事象(死亡や卒業)が起こるまでの時間が分からない、もしくは曖昧なケースのことを言う。
・ 調査・研究期間の終わりまでにその事象がおこらない場合 ⇒ Right-Censored
・ ある時よりも前に事象が起こった場合(調査開始時に既に発病 etc) ⇒ Left-Censored
・ 観察期間が広い場合(1年毎とか)　⇒ Interval-Censored
・ このように、打ち切りデータには様々な形が存在する。

11.6.2.1 Right-Censored Data
・ 打ち切りとは一般的に、Right-Censoredのことを指す。
・ Right-Censoredにもいろいろある。
・ FailするCaseの数や、調査の期間が予め決められており、その数や期限に達した場合、調査は打ち切られる。そのRight-Censoringは研究者のコントロール下にあるものであると言える。
・ 逆にコントロールできないRight-censoringの例は、対象者が最後までの継続を拒否したり、調査対象にない病気で死亡したりする場合である。
・ また、いつデータとして投入されるかわからないこともある。例えば、手術日等はランダムであり、ケースごとに異なる場合がある。生存時間がケースごとに異なり、分からなくなる。
・ 更に、脱落したケースと継続しているケースの間にシステマティックな差がないと仮定されるが、それが崩れる場合もある。そのため、共分散を設定し分析に用いる必要がある。

11.6.2.2 Other Forms of Censoring
・ Left-Censoringは実験環境下では起こらないが、非実験環境下では起こり得る(観察前の脱落)。
・ Interval-Censoringの場合、イベントの発生は分かるが、正確な時間が分からない。

11.6.3 Effect Size and Power
・ 効果量の計算方法についてはp. 538を参照。SPSSなら、SPSS COXREGで算出可能。
・ また、検定力は、サンプルサイズが大きくなるほど高まる。
・ 更に、サンプルサイズが異なる場合は検定力が低下すると言える。

11.6.4 Statistical Criteria
11.6.4.1 Test Statistics for Group Differences in Survival Functions
・ グループ間の差を検討する場合、様々な手法が存在するが、名称はソフト毎に異なる。
・ また、重み付けのしかたにより、多くの手法は異なる(Table 11.11, p. 539)。
・ 例えば、観察直後に2グループが大きな異なりを示した場合、早く脱落を示したグループにより重みをつける方法は、均等に重み付けを行う方法よりも、大きなグループ間の差を検出する。


11.6.4.2 Test Statistics for Prediction from Covariates
・ G2 (Log-likelihood chi-square tests)が検定に用いられる。
・ 大きなサンプルサイズを要する手法であるが、小さなサンプルサイズでも特に問題はない。
・ また、これらの手法は、各共分散の係数を個別に検定することができる。

11.6.5 Predicting Survival Rate
11.6.5.1 Regression Coefficients (Parameter Estimates)
・ 共分散から生存時間を予測するために回帰係数が算出され、それらはそれぞれが生存関数に影響すると考えられている。
11.6.5.2 Odds Ratios
・ 生存分析はロジスティック回帰に基づくため、共分散からの効果が「見込み(odds)」と解釈される。
・ ある共分散がどのように生存の見込み値を変えるのだろうか？
・ コーディングを考慮する必要がある。
・ 例えば、脱落を1に、生存を0に設定すると、例えば、正の回帰係数は、年齢が上がるにつれて脱落の可能性が高まることを意味し、負の回帰係数は、その逆を表す。
・ 少人数のサンプルの場合、回帰係数が有意にならないのは、トリートメントの効果というよりは、検定力の問題であり、Odds Ratioを解釈すればよい。

11.6.5.3 Expected Survival Rates
・ 例えば統制群の25歳の生存率など、様々な期間での特定の共分散の生存率をSASでは検定が可能。

11.7 Complete Example of Survival Analysis
・ 肝硬変に対する実際の投薬とプラシーボの効果についてのデータを用いる。
・ 計312名、投薬= 1, プラシーボ= 2
・ Covariates = 年齢(日数)、血清ビリルビン(mg/dl)、血清血清アルブミン(mg/dl)、プロトロンビン時間(秒)、浮腫の有無。
・ 浮腫の治療には3つのレベル(0.00, 0.50, 1.00とそれぞれコーディング)。
・ ステータスは、Censored = 0, 肝臓移植 = 1, Event (死亡？) = 2
・ 目的は、他の共分散を調整した上で、投薬が生存時間にどの程度効果的か。

11.7.1 Evaluation of Assumptions
・ SPSS DESCRIPTIVESを参照すると良い。今回は年齢の平均が50、312名のサンプルは検定に十分、またグループの平均が1.49 (1と2にコーディング)でちょうどよい。
・ また、欠損値はなく、全体的に歪度に問題がなかった。

11.7.1.2 Outliers
・ z = 3.3 基準で、アルブミン、プロトロンビン時間、ビリルビンに外れ値が見られた。歪度を考慮して、これらを対数変換することにした(Table 11.14, p. 545)。
・ アルブミン、プロトロンビンからは外れ値が消えなかったため、そのまま残すことにした(Table 11.16)。
・ マハラノビスの距離(χ2(6)=22.458, p = .001)から3つが多変量外れ値であることが分かった。
・ また、Table 11.17は外れ値に影響する変数を示す。結果として、更に3ケース削除された。

<コメント>
　打ち切りデータとそうでないものの区別があまりよくわかっていないため、なんとかしたいと思う。

ページトップに戻る

2011/1/13

Chapter 11 (pp. 549-566)

11.7.1.3 Differences between Withdrawn and Remaining Cases
・ いくつかのケースは肝臓移植のために調査から外れたためCensoredであるが、残りは調査終了の時点でまだ生存しているケースであると推測される。
・ Table 11.8 (p. 549) は腎臓移植による脱落を1、 その他を0とし、6つの独立変数による回帰分析結果を示している。
・ 移植群と生存群には有意差があった(ボンフェローニの修正によりα = .008)。Ageの負の符号はより若いケースに移植手術が行われたことを意味する。
・ AGEのみが有意な要因となってしまったため、解釈は他の分析後に行う。

11.7.1.4 Change in Survival Experience over Time
・ 例えば10年にも及ぶような調査の間には、調査に影響を及ぼす、不可抗力な環境的変化という要因が考えられる。今回はランダムアサインメントなので、心配する必要がない。

11.7.1.5 Proportionality of Hazards
・ 前提が崩れていないかどうか、COX regressionの前に検討される(Table 11.19, p. 551)。
・ T_COV_と付いているCovariates(時間と要因の交互作用)がProportionality of Hazardsを表わすものである。Covariatesが6つなのでα = .008とすると、有意なものがなく、前提が満たされていることが明らかとなった。

11.7.1.6 Multicollinearity
・ 生存時間分析のプログラムは多重共線性にも頑健であるが、事前に調べておくことにこしたことはない。
・ SPSS Factor の主因子法を使用すると良い。算出されるInitial Communalityが、ある要因と残りの要因の相関(SMC)を表すからである。
・ 今回は (Table 11.20, p. 552)、最大で.314と、特に問題がなかった。.90以上がRedundantといえる。

11.7.2 Cox Regression Survival Analysis
・ SPSS COXREGは、薬の効果や他の要因が生存時間に及ぼす影響の効果を検証するものである。
・ Table 11.21 (p. 553) に、薬以外の要因を最初に投入した分析のシンタックスと出力結果が示されている。
・ 他の要因を調整することにより、薬の効果の尤度比検定が可能になる。

11.7.2.1 Effects of Drug Treatment
・ 投薬の効果は、”Block 2”の”Change from Previous Block”に結果として示される。
・ 5%レベルで有意であれば、投薬が生存時間を予測していると言えるが、今回は有意にならなかった。
・ 他の変数を調整した場合、投薬に生存時間への効果が見られなかった、ということである。

11.7.2.2 Evaluation of Other Covariates
・ その他の要因の効果は、Block 1に示されている。
・ これらの要因は、この調査においては、なんら実験的な操作が行われなかったものである。
・ “Change from Previous Step”はこれらの要因が生存時間を有意に予測することを示す。
・ “Variables in the Equation”にそれぞれの要因の貢献度が示されている。もしp値を調整するのであれば、EDEMA以外が有意な効果を示す。
・ 負の符号はより長い生存時間を意味する。従って、ALBUMINが高いほど生存時間が長く、他の要因が高いほど生存時間が短くなると言える。最終的なリスク得点はp. 555のとおりである。
・ Exp (B)はそれぞれの要因の危険率を表している。つまり、もしALBUMINが1増えると、死亡確率が約60%高くなる((1 - .413)×100)。
・ Figure 11.2 (p. 556)は5年の生存率は80%以下、10年の生存率は40%以下であることを示す。

<コメント>
　SLAの研究論文ではあまり多く使用されていないと思われるが、しっかりと使いこなせるようにしたい。

ページトップに戻る

Data Screening

2011/1/27

Chapter 4 (pp. 60-72)

・ 本章では、メインの分析前に解決すべき問題について述べる。
・ まずは入力データの正確性と相関を歪めてしまう要因について、次に例えばデータの変換や外れ値の取り扱いについて、最後に多変量解析を脅かす完全な相関について解決方法を提示する。
・ 基本的にどの分析にも関わる問題であるが、全ての分析に対して常に適用可能ではないことを留意する必要がある。また、群分けの有無によっても用いるデータスクリーニングの方法が異なる。
・ 本章で扱う方法は難しいかもしれないが、他のチャプターの後本章に戻ることが推奨される。

4.1 Important Issues in Data Screening
4.1.1 Accuracy of Data File
・ 入力したデータのproofreadingは絶対に欠かせない。小さいデータならなおさらであるが、大きなデータの場合、記述統計値やグラフィカルに表わしてから検証すると良い(SPSS FREQUENCY等)。
・ 連続変数であれば平均値や標準偏差、外れ値を、離散型であれば範囲外の値を確認する。

4.1.2 Honest Correlations
・ 多変量分析では相関係数を取り扱うが、どのような相関でも正確に算出されるよう注意を払う必要がある。
4.1.2.1 Inflated Correlation
・ 例えば、いくつかの変数を足したり平均化したりした変数の相関を求める場合、同じ変数が繰り返し使用されていると相関が大きく算出されるので注意が必要である。
4.1.2.2 Defeated Correlation
・ サンプリングの幅に制約があったり、カテゴリわけに偏りがあったりすると、母集団の相関よりもかなり小さめに相関が算出される。
・ 一方、もしくは両方のデータにおいて、得られた値の範囲が著しく狭い場合、相関が不当に小さく算出される。
・ もし相関が小さすぎる場合は、式4.1(p.62)を用いてサンプリングに制約がない場合の修正された相関を算出することが必要。その場合、制約がないサンプルの標準偏差が必要。
・ これは離散型のデータを用いた場合も同様であり、2値データの場合、どちらかに偏りすぎたりすると相関係数は低まる。

4.1.3 Missing Data
・ 欠損値はデータ分析において最もよく見られる問題の1つであるが、それがどの程度問題であるのかは、欠損値の出現パターン、量、理由による。
・ 欠損値の出現パターンは、その数よりも重要である。パターンがランダムであれば問題は小さいが、そうでない場合は、例えその数が少なくとも、一般化に影響するほど問題は深刻である。
・ 例えば、態度(attitudinal)と人口統計的データ(demographic)を調査するアンケートを実施したとして、多くの人が収入に関する項目に回答しなかったとする。その項目に回答しなかったという事実は｢態度｣に関連する問題であると考えられる。つまり、この欠損値を示した回答者を削除すれば、態度に関わる変数のサンプル値が歪められてしまうため、何らかの方法で対処する必要がある。

・ 欠損値には以下の種類がある。MCAR (missing completely at random), MAR (milling at random; ignorable), MNAR (missing not at random; nonignorable)
・ 一般に、欠損値の数がデータ全体の5％程度でランダムであればどんな対処法を用いても問題がないが、そうでない場合は大きな問題となる。
・ 一番安全なのはおそらく検証してみることである。例えば、上記のような収入と態度のような変数の場合、ダミーの変数(欠損値あり群となし群)を用意し、態度の群間差を検証する。有意差や大きな効果量が見られない場合、欠損値に対する方法は何を使っても問題がないと言える。

・ また、SPSS MVA (p. 64)を使用することも1つである。
・ TTEST PROB PERCENT=5 は、欠損具合が他の変数と関連しているかどうかのt検定を(α=.05)、欠損値の数がデータの5％以上である変数のみに行うという指示。EMは相関係数とデータがMCARであるのかどうか。
・ Univariate Statistics は各変数の欠損値の数、Separate Variance t TestはINCOMEの欠損値とその他の変数の関係性、Missing Patternsは各ケースが何の欠損値か(S)、を示す。
・ EM Correlationは、EM法によって補充された欠損値との相関、その下のLittle’s MCAR testは欠損値がランダムであるかどうか判断するものである。今回は有意でなかったため、MCARが示されたと考えられる。
・ 上記の検定が有意であり、Separate Variance t Testにおいて従属変数以外の変数から欠損値のパターンが予測可能な場合は、MARだったと言える(他の変数から欠損値のパターンが予測可能)。
・ 従属変数と欠損値のパターンが有意に関連していればMNARであると言える。

4.1.3.1 Deleting Cases or Variables
・ 最もシンプルな方法であり、ランダムに抽出されたサンプルがほんのわずかに欠損値を示す場合は、良い選択であると言える。
・ また、欠損値がある変数に集中していたり、分析に重要でなかったり、他の欠損値がない変数とある程度の相関を示すような変数であれば、落としてしまっても構わないだろう。
・ しかし、欠損値がケースや変数をまたいで散らばっている場合、そのケースを削除することは大きな損失となる。また、実験デザインでサンプル数を調整している場合はなおさら。更に、せっかく苦労して集めたデータを捨てるのはどうだろうか。
・ 欠損値を示すケースがデータにランダムに分布していない場合、それらを削除することでデータに歪みが生じる。

4.1.3.2 Estimating Missing Data
・ 欠損値を推定する方法にはいくつか存在する。
Prior Knowledge
・ 調査者に長い経験があり、サンプルサイズが大きく、欠損値の数が少ない場合、この方法が使える。
・ もしくは、連続変数を二値変数に変換し(high vs. low)、どちらのカテゴリに属するのか判断する。しかし後者がもつ情報量は少ないということに留意すべきである。
・ また、縦断的データの場合、欠損値の直前のデータを投入することができるが、時間的な変化が予期されない場合に限る。
Mean Substitution
・ 最近では使われなくなったものの、その他の有力な情報が無い場合は有用な方法である。
・ しかし、欠損値に本来入るべき値よりも平均値に近いため分散は小さくなり、また、分散が小さくなるため他の変数との相関が小さくなる可能性がある。損失の大きさは、欠損値の数と値による。
・ グループの平均値を代入するという手も考えられるが、分散の減少は避けられない。
Regression
・ 他の変数を独立変数、欠損値を従属変数として回帰式を書いて計算を行う。
・ 研究者のGuessよりも客観性があり、平均値の使用ほど単純でもないが、以下の問題点がある。
・ 他の得点と均一になってしまうこと、平均値に近づくため分散が減少すること、良い予測変数が存在しなければ平均値を代入するのと変わらなくなってしまうこと等が挙げられる。
・ SPSS MVAで行うのが良いだろう。Overconsistencyを防ぐことができる。
Expectation maximization (EM)
・ ランダムな欠損値に対して使用可能である。
・ P. 64を参考に、SPSS MVAを使用すると良い。
Multiple Imputation
・ いくつかのステップを通して行われる分析である(ロジスティック回帰の使用)。
・ 利点の一つは、縦断的データにもワンショットのデータにも使用が可能であること。
・ もうひとつの利点は、欠損値がランダムであるかどうかについての推論を行わないことである。
・ 主に、データ収集者以外の人が分析するために用いられる方法であるようである。
・ SPSS MVA、もしくはフリーソフトのNORMで可能(正規分布が仮定できる独立変数の場合のみ)

4.1.3.3 Using a Missing Data Correlation Matrix
・ 欠損値の相関行列を用ることもランダムな欠損値には有効な手段である。
・ SPSSにおいても、いくつかの分析にある”Pairwise deletion”のオプションとして利用可能。

4.1.3.4 Treating Missing Data as Data
・ ダミー変数を使用して、欠損値を新たな変数として分析に用いることが可能である。

4.1.3.5 Repeating Analyses with and without Missing Data
・ 欠損値を推定したり、欠損値の相関行列を用いたりする場合、欠損値が無いデータを用いての分析の繰り返しを検討する必要がある。特に結果に違いが無ければそのまま使用しても良い。

4.1.3.6 Choosing among Methods for Dealing with Missing Data
・ ケースの除外は、欠損のパターンがランダムであり、欠損値を示すケースの数が極小であり、また、これらのケースがそれぞれ異なる変数に対して欠損を示す場合は有効である。
・ 変数の除外は、その変数が分析上重要でない場合は有用である。もし重要である場合には、ダミー変数を作成し欠損かそうでないかを分かるようにし、平均値を代入するなどして分析に残すことが推奨される。
・ 平均値の代入は欠損値の割合が非常に低く、他に手段がない時のみ推奨される。
・ 事前知識の使用は、研究分野についての多大なる知識や予期される結果に自信が持てる場合のみ。
・ 回帰の使用はEM法よりも勧められるものではない。
・ EM法は欠損値の分布がランダムである場合には非常に有効な手段であり、EM共分散行列を用いることで、バイアスが少ない結果を得ることができる。
・ しかし、適切な標準誤差を得られない限り、結果の解釈には慎重になるべきである。
・ Multiple imputationが最適な手段であるが、その扱いの難しさが難点である。
・ 欠損値の相関行列は、手持ちの統計ソフトで行えるのであれば、欠損値が変数をまたいで拡散しており、なおかつ1つの変数に対して欠損値の数が多くない場合には、1つの選択となる。
・ いずれの方法を使うにしても、欠損値の代入前と後のデータを比較する必要がある。

<コメント>
　本文中にも出ていたように、データを整えるまでには膨大な時間がかかることを実感した。特に欠損値や外れ値には正確に対応したいが、その手法は単純ではないようである。

ページトップに戻る

2011/2/9

Chapter 4 (pp. 72-78)

4.1.4 Outliers
・ 外れ値とは、統計的検定を歪めてしまう、ある変数の極端な値、もしくはいくつかの変数にまたがる極端な値のコンビネーションである。
＊外れ値が起こる4つの理由
・ 1つは、データ入力上のミス
・ 2つ目は、シンタックス上のミスにより、欠損値を示す値がデータ入力値として認識される場合
・ 3つ目は、外れ値を示すケースが、サンプリングを行った母集団とは無関係な場合
・ 最後に、意図する母集団からサンプリングされたものの、逸脱した分布になっている場合

4.1.4.1 Detecting Univariate and Multivariate Outliers
・ 一変量(univariate)外れ値は簡単に見出すことが可能。
・ 例えば、二値変数の場合、カテゴリー間の極端な偏りあるほど(e.g., 9:1)外れ値になりやすい。特に少ない方のカテゴリーに外れ値が見られる可能性がある。SPSS FREQUENCYで検出可能。
・ 連続変数の場合、検出方法はデータがグループ化されているかどうかにもよる。
・ グループ化されていない分析の場合(因子分析やSEM)、一変量・多変量に関わらず外れ値の検出は一度に行われるし、グループ化されている場合(ANOVA)はグループ毎に行われる(後述)。
・ 連続変数ではz得点(>3.29)も指標になるが、サンプル数が多い場合には注意が必要 (>3.29は稀)。
・ また、外れ値はグラフやプロットからも検出が可能(SPSS FREQUENCYやBoxプロット等).
・ 外れ値が検出されれば、変換(後述)が可能かどうか検討すべき。
・ マハラノビスの距離(各変数の平均値の交差点にある重心よりどの程度離れているのか)は多変量(multivariate)外れ値の指標となるものであり、カイ二乗分布を用いることにより検証される。
・ しかし、外れ値を”mask”してしまったり、そうでない値を外れ値とみなしたりする等、必ずしも信頼できる指標ではないため、使用する際には非常に注意が必要である。
・ その他の統計的指標としては、Leverage, Discrepancy, Influenceの3指標が挙げられる。
・ Leverage(hii)はマハラノビスの距離に関連し、値が大きいほど他のケースから離れているとみなす。スケールが異なるため、通常のカイ二乗検定を適用できない点は注意が必要である(計算式はp.75)。
・ Discrepancyは、あるケースが他のケースとどの程度合致しているのかを表す。
・ Influenceはあるケースが削除された場合の回帰係数の変化具合を検証するものである。Cookの距離等と関連しており、1.00以上で外れ値とみなす。
・ 今のところLeverageとマハラノビスの距離が統計ソフトウェア(SPSS REGRESSION)で提供されているが、どちらも必ずしも信頼できる指標ではなく、現状ではその代替方法が無いため、最大限に注意を払いながら使用するほかない。
・ ある多変量外れ値が他の多変量外れ値を”mask”してしまうことはよくあることであり、あるケースを削除しても、他のケースが外れ値になってしまうことも多々ある。
・ 解決策は提案されているが、メジャーなソフトウェアでは提供されておらず、外れ値が見られなくなるまで何度も繰り返すほかない。もしそれが永遠に続きそうな場合、外れ値ありとなしで分析を行い、結果に影響するのかどうかを検証するとよい。

4.1.4.2 Describing Outliers
・ 一変量外れ値を検出したら、なぜ外れ値になっているのかを知る必要がある。まず、適切にサンプリングされたものなのかどうか、次に、ケースを削除するのではなくスコアを修正するのであれば、どのスコアを修正するのか、最後に一般化が難しいケース、を見つけるためである。
・ また、外れ値を基にダミー変数を設定し、判別分析やロジスティック回帰等に用いると、どの変数が他のケースから外れ値を区別するのかが分かる。

4.1.4.3 Reducing the Influence of Outliers
・ 外れ値の影響を小さくする方法は複数あるが、まずはデータが正しく入力されているのか確認する。
・ 問題が無く、他の変数と相関があり、分析に重要でない変数は削除してもよいだろう。
・ もしこれらの方法がそぐわない場合は、外れ値のケースが正しくサンプリングされたのかどうかを検討する。意図する母集団からサンプリングされていないと判断できる場合、削除してもよい。
・ もし意図する母集団からサンプリングされたと判断できる場合、以下の方法で影響を小さくする。
・ 第一の方法は、分布の形を変えるように変数を変換することである。
・ 第二の方法は、外れ値を示すケースの変数の値を変換することである。
・ しかし、これらの方法は多変量外れ値に機能するとは限らない。多数の変数にまたがるからである。
・ これらの方法で多変量外れ値を削除しても、まだ残る可能性があり、そのうちいくつかは未だ他のケースから離れているものもある。大抵は削除されるが、残す場合は相応の知識が必要である。
・ 変換方法や削除等の詳細は、Resultsのセクションで論理的に述べる必要がある。

4.1.4.4 Outliers in a Solution
・ 変換・修正などを通した値は、実際の値とかなり異なる。メインの分析を行う前に行うと良い。

<コメント>
　本書で紹介されているスクリーニングの方法はかなり厳密なものであり、多分に統計の知識を必要とするものである。なんとかものにしていきたい。

ページトップに戻る

ご意見やコメントがあればこちらまでお寄せください。