Site LogoInuverse Sci. X Tech. Blog

統計学入門 第13章　最小二乗法について

統計学

第13章　最小二乗法について

この記事では最小二乗法についての計算をまとめます。

最小二乗法について

２つのデータX,YX, Yがあるとき、その標本Xi,YiX_i, Y_i (i=1,2,…,ni = 1, 2, \dots, n)を考えます。現実の多くの例では、それぞれに関係があり、時にXiX_iが上昇するとYiY_iも上昇する、もしくは下降するような関係があります。ここでは線形な関係でXiX_iがYiY_iを説明することを考えいます。一般にはこの関係は非線形であるものの、変換により線形に帰着できることも多いため、線形な関係を考えることは重要です。この場合を線形回帰と言います。

線形回帰の場合、

Yi=β1+β2Xi+ϵi \begin{align} Y_i &= \beta_1 + \beta_2 X_i + \epsilon_i \end{align}

という関係が成り立つことを期待し、いい感じのβ1,β2\beta_1, \beta_2を求めたいです。ここで、ϵi\epsilon_iは誤差項です。この誤差は次の3つを満たす確率変数であるとします。

E[ϵi]=0V[ϵi]=σ2Cov[ϵi,ϵj]=E[ϵiϵj]=0(i≠j) \begin{align} E[\epsilon_i] &= 0 \\ V[\epsilon_i] &= \sigma^2 \\ {\rm Cov}[\epsilon_i, \epsilon_j] &= E[\epsilon_i \epsilon_j] = 0 \quad (i \neq j) \end{align}

いい感じの直線は、安直には誤差の総和が最小になる直線です。線形回帰の式を誤差についての指揮に書き直すと、

ϵi=Yi−β1−β2Xi \begin{align} \epsilon_i &= Y_i - \beta_1 - \beta_2 X_i \end{align}

であります。誤差の総和が符号によって打ち消し合わないように２乗して足しあげると、

S=∑ϵi2=∑(Yi−β1−β2Xi)2 \begin{align} S &= \sum \epsilon_i^2 \\ &= \sum (Y_i - \beta_1 - \beta_2 X_i)^2 \end{align}

です。このSSを最小にするβ1,β2\beta_1, \beta_2がいま知りたいもので、β1,β2\beta_1, \beta_2の2次式です。明らかに下に凸なので、β1,β2\beta_1, \beta_2によるそれぞれに偏微分の結果を0においた点が最小値となります。よって、β1,β2\beta_1, \beta_2それぞれで偏微分をとると、

∂S∂β1=−2∑(Yi−β1−β2Xi)=0∂S∂β2=−2∑(Yi−β1−β2Xi)Xi=0 \begin{align} \frac{\partial S}{\partial \beta_1} &= -2 \sum (Y_i - \beta_1 - \beta_2 X_i) = 0 \\ \frac{\partial S}{\partial \beta_2} &= -2 \sum (Y_i - \beta_1 - \beta_2 X_i) X_i = 0 \end{align}

を満たすβ1,β2\beta_1, \beta_2が誤差項の２乗和SSを最小にする値となります。この式から正規方程式

nβ1+(∑Xi)β2=∑Yi(∑Xi)β1+(∑Xi2)β2=∑XiYi \begin{align} n \beta_1 + (\sum X_i) \beta_2 &= \sum Y_i \\ (\sum X_i) \beta_1 + (\sum X_i^2) \beta_2 &= \sum X_i Y_i \end{align}

を得ることができます。これを解くと、Xˉ,Yˉ\bar{X}, \bar{Y}をXi,YiX_i, Y_iの標本平均として

β^2=∑(Xi−Xˉ)(Yi−Yˉ)∑(Xi−Xˉ)2β^1=Yˉ−β^2Xˉ \begin{align} \hat\beta_2 &= \frac{\sum (X_i - \bar{X})(Y_i - \bar{Y})}{\sum (X_i - \bar{X})^2}\\ \hat\beta_1 &= \bar{Y} - \hat\beta_2 \bar{X} \end{align}

となります。

回帰残差

実測値YiY_iに対して回帰で得られた値Y^i\hat{Y}_iを引いたものを回帰残差といい

e^i=Yi−Y^i \begin{align} \hat{e}_i &= Y_i - \hat{Y}_i \end{align}

と表します。回帰残差は誤差項ϵi\epsilon_iの推定量であり、次を満たします：

∑e^i=0∑e^iXi=0 \begin{align} \sum \hat{e}_i &= 0 \\ \sum \hat{e}_i X_i &= 0 \end{align}

e^i,Xi\hat{e}_i, X_iをベクトルとして見た時、２つのベクトルは直交しています。これは母集団に関わらず常に成り立ちます。

計算の確認

正規方程式の解(12)(13)の確認

まずは標本平均の定義から

∑Xi=nXˉ∑Yi=nYˉ \begin{align} \sum X_i &= n \bar{X} \\ \sum Y_i &= n \bar{Y} \end{align}

が分かります。よって、正規方程式(10)(11)は

β1+Xˉβ2=YˉXˉβ1+1n(∑Xi2)β2=1n∑XiYi \begin{align} \beta_1 + \bar{X} \beta_2 &= \bar{Y} \\ \bar{X} \beta_1 + \frac{1}{n} (\sum X_i^2) \beta_2 &= \frac{1}{n} \sum X_i Y_i \end{align}

とできます。よって、β2\beta_2について解くと、

β2=1n∑XiYi−XˉYˉ1n∑Xi2−(Xˉ)2 \begin{align} \beta_2 &= \frac{\dfrac{1}{n} \sum X_i Y_i - \bar{X} \bar{Y}}{\dfrac{1}{n} \sum X_i^2 - (\bar{X})^2} \end{align}

となります。ここで

∑(Xi−Xˉ)(Yi−Yˉ)=∑XiYi−nXˉYˉ∑(Xi−Xˉ)2=∑Xi2−n(Xˉ)2 \begin{align} \sum (X_i - \bar{X})(Y_i - \bar{Y}) &= \sum X_i Y_i - n \bar{X} \bar{Y} \\ \sum (X_i - \bar{X})^2 &= \sum X_i^2 - n (\bar{X})^2 \end{align}

が成り立つので、

β^2=∑(Xi−Xˉ)(Yi−Yˉ)∑(Xi−Xˉ)2 \begin{align} \hat\beta_2 &= \frac{\sum (X_i - \bar{X})(Y_i - \bar{Y})}{\sum (X_i - \bar{X})^2} \end{align}

となります。

回帰残差の成分の総和が0、直交性の確認

まずは、総和が0であることを確認します：

∑e^i=∑(Yi−Y^i)=∑[Yi−β^1−β^2Xi]=⏟(8)0 \begin{align} \sum \hat{e}_i &= \sum (Y_i - \hat{Y}_i) \notag \\ &= \sum [ Y_i - \hat{\beta}_1 - \hat{\beta}_2 X_i ] \notag \\ & \underbrace{=}_{(8)} 0 \end{align}

となりわかりました。最後の行は(8)を満たすようなβ^1,β^2\hat{\beta}_1, \hat{\beta}_2がいま選ばれているからです。

次に、直交性を確認します。すると

∑e^iXi=∑(Yi−Y^i)Xi=∑(Yi−β^1−β2^Xi)Xi=⏟(9)0 \begin{align} \sum \hat{e}_i X_i &= \sum (Y_i - \hat{Y}_i) X_i \notag \\ &= \sum (Y_i - \hat{\beta}_1 - \hat{\beta_2} X_i) X_i \notag \\ &\underbrace{=}_{(9)} 0 \end{align}

となります。