正規方程式の導出と計算例

A⊤A$A^{\mathrm{\top }}A$ が正則なとき，∥Ax−b∥$\Vert Ax-b\Vert$ を最小にする x$x$ はただ一つであり，それは正規方程式：A⊤Ax=A⊤b$A^{\mathrm{\top }}Ax=A^{\mathrm{\top }}b$ を解くことで得られる。

前半は正規方程式を用いた最小二乗法の計算の具体例。後半は正規方程式の導出。

最小二乗法と正規方程式

• x,b$x,b$ は縦ベクトル，A$A$ は行列です。 ∥x∥$\Vert x\Vert$ はベクトル x$x$ の長さを表します。
• A$A$ と b$b$ が与えられたとき，∥Ax−b∥$\Vert Ax-b\Vert$ を最小にするような x$x$ を求める問題は非常に重要です。→最小二乗法の行列表現（単回帰，多変数，多項式）
• 連立方程式 Ax=b$Ax=b$ が解を持つときは嬉しいけども，解を持たない時にも諦めるのではなく，Ax$Ax$ が b$b$ に近くなるような x$x$ を探したいというモチベーションです。
• 正規方程式は，Ax=b$Ax=b$ の両辺に左から A⊤$A^{\mathrm{\top }}$ をかけただけなので覚えやすいです。

正規方程式を用いた計算例

最小二乗法（直線）の簡単な説明で扱った問題です。

例題

(2,3),(4,7),(9,11)$(2,3),(4,7),(9,11)$ というデータの組に対して最小二乗法を適用してもっともらしい直線を引け。

解答

求める直線の傾きを p$p$，切片を q$q$ とおくと，以下のように行列表現できる：
目標：∥Ax−b∥$\Vert Ax-b\Vert$ を最小にする x=(pq)$x=\left(\begin{array}{c}p\\ q\end{array}\right)$ を求める。
ただし，A=⎛⎝⎜249111⎞⎠⎟$A=\left(\begin{array}{cc}2& 1\\ 4& 1\\ 9& 1\end{array}\right)$，b=⎛⎝⎜3711⎞⎠⎟$b=\left(\begin{array}{c}3\\ 7\\ 11\end{array}\right)$

よって，答えは正規方程式を解くことにより，
x=(A⊤A)−1A⊤b=(14132113)$x=(A^{\mathrm{\top }}A{)}^{-1}{A}^{\mathrm{\top }}b=\left(\begin{array}{c}\frac{14}{13}\\ \frac{21}{13}\end{array}\right)$
求める直線の方程式は y=1413x+2113$y={\displaystyle \frac{14}{13}}x+{\displaystyle \frac{21}{13}}$

正規方程式の導出

考え方は非常に単純です。凸な二次関数なので微分して=0$=0$ とするだけです。ただし，計算は慣れていないとやや大変です（行列の基本的な演算や微分公式を用いる）。

（正規方程式の導出）
まず，目的関数の二乗 ∥Ax−b∥2$\Vert Ax-b{\Vert }^2$ を整理する：
∥Ax−b∥2=(Ax−b)⊤(Ax−b)=(x⊤A⊤−b⊤)(Ax−b)=x⊤A⊤Ax−2x⊤A⊤b+b⊤b$$\begin{gathered} \Vert Ax-b{\Vert }^2=(Ax-b{)}^{\mathrm{\top }}(Ax-b) \\ =(x^{\mathrm{\top }}{A}^{\mathrm{\top }}-b^{\mathrm{\top }})(Ax-b) \\ =x^{\mathrm{\top }}{A}^{\mathrm{\top }}Ax-2x^{\mathrm{\top }}{A}^{\mathrm{\top }}b+b^{\mathrm{\top }}b \end{gathered}$$
ただし，最後の変形で補足1を用いた。

これを x$x$ で微分する（各要素で偏微分する，つまり勾配ベクトルを求める→補足2）と，2A⊤Ax−2A⊤b$2A^{\mathrm{\top }}Ax-2A^{\mathrm{\top }}b$ となる。よって，∥Ax−b∥$\Vert Ax-b\Vert$ が最小となる必要条件として，A⊤Ax=A⊤b$A^{\mathrm{\top }}Ax=A^{\mathrm{\top }}b$ が得られる。

特に，A⊤A$A^{\mathrm{\top }}A$ が正則なときは，x=(A⊤A)−1A⊤b$x=(A^{\mathrm{\top }}A{)}^{-1}{A}^{\mathrm{\top }}b$ が唯一の解であり，この x$x$ が最小値を与える。

補足1：b⊤Ax$b^{\mathrm{\top }}Ax$ はスカラーなので，転置を取っても同じ。つまり，b⊤Ax=x⊤A⊤b$b^{\mathrm{\top }}Ax=x^{\mathrm{\top }}{A}^{\mathrm{\top }}b$

補足2：対称行列 A$A$ に関する二次形式 x⊤Ax$x^{\mathrm{\top }}Ax$ の微分（勾配ベクトル）は 2Ax$2Ax$，
線形関数 x⊤A⊤b$x^{\mathrm{\top }}{A}^{\mathrm{\top }}b$ の微分は A⊤b$A^{\mathrm{\top }}b$
（単純計算で簡単に証明できる）