分割表による独立性の検定

データを採取して分割表を作成することがあります。
分割表とは、得られた計数値のデータを二元表にまとめた表で、クロス集計表とも呼びます。
例えば製造ライン別に不適合内容をまとめた表が該当します。
このとき、ラインの違いにより不適合内容の割合に差があると言えるかどうかを、統計的に判断したいとしましょう。
このような場面で使える方法が、独立性の検定です。
ラインと不適合内容が独立かどうかを検定するので、独立性の検定と呼ばれます。

今回は、分割表を使った独立性の検定方法を解説します。

1.　適用できる場面

以下の事例を使って、独立性の検定を解説します。

この事例では、「各ラインにおいてキズと汚れの不適合は同じ割合で発生する」を帰無仮説とし、「ラインによってキズと汚れの発生する割合は異なる」を対立仮説として独立性の検定を行えば、ラインによってに不適合の出方が異なるかを判断できます。

事例1では、4種類の製造ラインと2種類の不適合内容をまとめた集計表なので、\(4 \times 2\)分割表と言います。
一般的に、行数を\(a\)、列数を\(b\)の分割表を\(a \times b\)分割表\((a \ge 2,~b \ge 2)\)と呼びます。
なお、\(a\)または\(b\)が1の時は、適合度の検定を行うことになります。

2024年4月2日 適合度の検定

2.　独立性の検定に適用する基本事項

独立性の検定方法の説明の前に、必要な基本事項を確認しておきます。

一般的な分割表の形式として、\(a \times b\)分割表を以下のように示します。

\(B_1,B_2,\cdots,B_b\)が発生する確率は、\(A_1,A_2,\cdots,A_a\)によって差があると言えるかどうか、つまり、行と列が独立でないと言えるかどうかを検定することを考えます。
帰無仮説\(H_0\)は、「差がない(行と列は独立である)」と設定し、検定の基本的な考え方や手順は適合度の検定と同じで、期待度数\(t_{ij}\)を計算して\(\chi^2\)分布を使って検定します。

このとき、以下の基本事項を利用します。

一般的に、すべての期待度数\(t_{ij}\)が5程度以上のとき\(\chi^2\)分布に近似できる、とされています。

よって、期待度数\(t_{ij}\)が5より小さいクラスが存在するようでしたら、そのクラスを別のクラスと組み合わせて度数の少ないクラスを解消するのがよいです。

3.　期待度数の算出

独立性の検定には、前項の基本事項1で触れた期待度数\(t_{ij}\)を求める必要があります。
計算が少し大変なので、事例1のデータを使って期待度数\(t_{ij}\)の計算方法を詳しく見ていきます。

事例1の表を一般式を使って書き直すと、以下のようになります。

製造ラインによって、キズと汚れの発生割合に違いがあるかどうかを検定したいので、発生割合に違いがないことを帰無仮説\(H_0\)とすると\(H_0\)が成り立つとき、キズと汚れの発生割合に関してはすべての製造ラインは同一母集団に属すると考えられます。

共通のキズ発生割合\(\hat{P_1}\)は表の合計 \((T_{.j})\)欄から、

\(\hat{P_1}=\displaystyle \frac{T_{.1}}{T}=\frac {815}{900}\)

と推定でき、同様に共通の汚れ発生割合\(\hat{P_2}\)は、

\(\hat{P_2}=\displaystyle \frac{T_{.2}}{T}=\frac {85}{900}\)

と推定できます。

以上のことより、ラインAのキズの期待度数\(t_{11}\)は、ラインAの合計300個に\(\hat{P_1}\)をかけることで求められます。

\(t_{11}=T_{1.} \times \hat{P_1}=\displaystyle \frac{T_{1.} \times T_{.1}}{T}=\frac{300 \times 815}{900}=271.67\)

同様にラインAの汚れの期待度数\(t_{12}\)は、ラインAの合計に\(\hat{P_2}\)をかければよく、

\(t_{12}=T_{1.} \times \hat{P_2}=\displaystyle \frac{T_{1.} \times T_{.2}}{T}=\frac{300 \times 85}{900}=28.33\)

が求まります。

他のラインのキズと汚れについても、各ラインの合計に\(\hat{P_1}\)または\(\hat{P_2}\)をかけて、キズと汚れの期待度数を計算します。

\(t_{21}=T_{2.} \times \hat{P_1}=\displaystyle \frac{T_{2.} \times T_{.1}}{T}=\frac{200 \times 815}{900}=181.11\)

\(t_{22}=T_{2.} \times \hat{P_2}=\displaystyle \frac{T_{2.} \times T_{.2}}{T}=\frac{200 \times 85}{900}=18.89\)

\(t_{31}=T_{3.} \times \hat{P_1}=\displaystyle \frac{T_{3.} \times T_{.1}}{T}=\frac{250 \times 815}{900}=226.39\)

\(t_{32}=T_{3.} \times \hat{P_2}=\displaystyle \frac{T_{3.} \times T_{.2}}{T}=\frac{250 \times 85}{900}=23.61\)

\(t_{41}=T_{4.} \times \hat{P_1}=\displaystyle \frac{T_{4.} \times T_{.1}}{T}=\frac{150 \times 815}{900}=135.83\)

\(t_{42}=T_{4.} \times \hat{P_2}=\displaystyle \frac{T_{4.} \times T_{.2}}{T}=\frac{150 \times 85}{900}=14.17\)

4.　独立性の検定

それでは、独立性の検定手順を見ていきます。
適合度の検定と同じく、基本事項1で定義した\(\chi_0^2\)を検定統計量として、\(\chi^2\)分布を使って検定します。

4-1.　独立性の検定手順

手順1.　帰無仮説\(H_0\)と対立仮説\(H_1\)を設定する。

\(H_0\)：\(B_1,B_2,\cdots,B_b\)の各カテゴリが発生する確率は、\(A_1,A_2,\cdots,A_a\)によって違いはない(行と列は独立である)

\(H_1\)：\(B_1,B_2,\cdots,B_b\)の各カテゴリが発生する確率は、\(A_1,A_2,\cdots,A_a\)によって異なる(行と列は独立ではない)

適合度の検定と同じく、両側検定や片側検定の区別はありません。
なお、帰無仮説と対立仮説の表現は、検定の目的に合わせて表してください。

手順2.　有意水準\(\alpha\)を決める。

通常は、\(\alpha=0.05\)とします。

手順3.　棄却域を決める。

棄却域：\(\chi_0^2 \ge \chi^2(\phi,\alpha)\)

手順4.　データを\(a \times b\)分割表にまとめ、期待度数\(t_{ij}\)と検定統計量\(\chi_0^2\)を計算する。

\(t_{ij}=\displaystyle \frac{T_{i.} \times T_{.j}}{T}\)

\(\chi_0^2=\displaystyle \sum_{i=1}^{a} \sum_{j=1}^{b} \frac{(x_{ij}-t_{ij})^2}{t_{ij}},\quad \phi=(a-1)(b-1)\)

手順5.　判定する。

\(\chi_0^2\)が棄却域に入れば、有意水準\(\alpha\)で有意と判定し、帰無仮説\(H_0\)を棄却して対立仮説\(H_1\)を採択します。
\(\chi_0^2\)が棄却域に入らなければ、有意水準\(\alpha\)で有意でないと判定し、帰無仮説\(H_0\)を棄却しません。

手順6.　有意だった場合は、基準化残差\(e_{ij}\)を計算する。

\(e_{ij}\)の絶対値が大きなクラスに注目します。
\(e_{ij}\)の絶対値が2.5程度以上のクラスは、特徴のあるクラスを推定できます。
なお、有意だった場合でも、\(e_{ij}\)の絶対値が2.5以上のクラスが存在しない場合もあります。

4-2.　独立性の検定の実施例

事例1について、検定手順に従って検定してみましょう。

手順1.　帰無仮説\(H_0\)と対立仮説\(H_1\)を設定する。

製造ラインでキズと汚れの発生割合が異なるかを知りたいので、以下のように帰無仮説と対立仮説を設定します。

\(H_0\)：製造ラインによって、キズと汚れの発生割合に違いはない

\(H_1\)：製造ラインによって、キズと汚れの発生割合は異なる　

手順2.　有意水準\(\alpha\)を決める。

\(\alpha=0.05\)

手順3.　棄却域を決める。

棄却域：\(\chi_0^2 \ge \chi^2(3,0.05)=7.81\)

ただし、\(\phi=(a-1)(b-1)=(4-1)(2-1)=3\)

手順4.　期待度数\(t_{ij}\)と検定統計量\(\chi_0^2\)を計算する。

3.項にしたがって期待度数\(t_{ij}\)を求めます。
(ここでは、3.項で求めた期待度数\(t_{ij}\)を転記しています。)

次に、検定統計量\(\chi_0^2\)を求めます。

\(\chi_0^2=\displaystyle \sum_{i=1}^{4} \sum_{j=1}^{2} \frac{(x_{ij}-t_{ij})^2}{t_{ij}}\)

\(=\displaystyle \frac{(270-271.67)^2}{271.67}+\frac{(30-28.33)^2}{28.33}+\frac{(195-181.11)^2}{181.11}\)

\(+\displaystyle \frac{(5-18.89)^2}{18.89}+\frac{(210-226.39)^2}{226.39}+\frac{(40-23.61)^2}{23.61}\)

\(+\displaystyle \frac{(140-135.83)^2}{135.83}+\displaystyle \frac{(10-14.17)^2}{14.17}\)

\(=~25.307\)

\(\phi~=~(a-1)(b-1)~=~(4-1)(2-1)~=3\)

手順5.　判定する。

\(\chi_0^2=25.307 \ge \chi^2(3,0.05)=7.81\)で検定統計量\(\chi_0\)は棄却域に入るので有意です。
よって帰無仮説\(H_0\)を棄却し、製造ラインによってキズと汚れの発生割合が異なると判断できます。

手順6.　有意なので基準化残差\(e_{ij}\)を計算する。

各クラスの規準化残差\(e_{ij}=\displaystyle \frac{x_{ij}-t_{ij}}{\sqrt{t_{ij}}}\)を計算すると、以下のようになります。(計算省略)

基準化残差\(e_{ij}\)の絶対値の大きさと符号から、ラインBの汚れの割合が小さく、ラインCの汚れの割合が大きいことが分かります。

4-2.　独立性の検定の4-3.　\(2\times 2\)分割表による独立性の検定の特例実施例

以下のような、\(2 \times 2\)分割表でデータが得られたときを考えます。

\(2 \times 2\)分割表で独立性の検定を行う場合は、期待度数\(t_{ij}\)の計算は不要で、以下のように分割表のデータから検定統計量\(\chi_0^2\)を簡単に求められる公式があります。

$$\chi_0^2=\displaystyle \frac {T(ad-bc)^2}{T_1T_2T_3T_4}$$

自由度は、\(\phi~=~(2-1)(2-1)~=1\)です。

これまで述べてきたように期待度数\(t_{ij}\)を計算してもよいですが、この公式を知っていればわざわざ期待度数を計算する必要がないので、この公式の存在を知っておくと\(2 \times 2\)分割表で独立性の検定を行うときに便利です。

5.　おわりに

今回は、分割表による独立性の検定について解説しました。
基本的な考え方は適合度の検定と同じで、それを拡張したイメージととらえていただいて構いません。

分割表(クロス集計表)を得る機会は多いと思いますので、このようなデータも検定により統計的な判断ができるということを覚えておいてください。