最小二乘法OLS
最小二乘法（又称最小平方法Ordinary least squares）是一种数学优化技术。它通过最小化误差的平方和寻找数据的最佳函数匹配。最小二乘法可用来简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小。最小二乘法还可用于曲线拟合。
考虑超定方程组（超定指未知数小于方程个数）：
\sum_{j=1}^{n} X_{ij}\beta_j = y_i,\ (i=1, 2, \dots, m)
\newline
\bf {X} \boldsymbol {\beta} = \mathbf {y}
\newline
\bf {X} \boldsymbol {\beta} = \mathbf {y}
\mathbf {X}=\begin{bmatrix}
X_{11} & X_{12} & \cdots & X_{1n} \\
X_{21} & X_{22} & \cdots & X_{2n} \\
\vdots & \vdots & \ddots & \vdots \\
X_{m1} & X_{m2} & \cdots & X_{mn}
\end{bmatrix} ,
\qquad \boldsymbol \beta = \begin{bmatrix}
\beta_1 \\ \beta_2 \\ \vdots \\ \beta_n \end{bmatrix} ,
\qquad \mathbf y = \begin{bmatrix}
y_1 \\ y_2 \\ \vdots \\ y_m
\end{bmatrix}
X_{11} & X_{12} & \cdots & X_{1n} \\
X_{21} & X_{22} & \cdots & X_{2n} \\
\vdots & \vdots & \ddots & \vdots \\
X_{m1} & X_{m2} & \cdots & X_{mn}
\end{bmatrix} ,
\qquad \boldsymbol \beta = \begin{bmatrix}
\beta_1 \\ \beta_2 \\ \vdots \\ \beta_n \end{bmatrix} ,
\qquad \mathbf y = \begin{bmatrix}
y_1 \\ y_2 \\ \vdots \\ y_m
\end{bmatrix}
显然该方程组一般而言没有解，所以为了选取最合适的\boldsymbol{\beta}让该等式”尽量成立”，引入残差平方和函数\boldsymbol{S}
S(\boldsymbol{\beta}) = \sum_{i=1}^m \bigl| y_i – \sum_{j=1}^n X_{ij}\beta_j\bigr|^2 = \bigl\|\mathbf y – \mathbf X \boldsymbol \beta \bigr\|^2
当\boldsymbol{\beta}=\boldsymbol{\hat\beta}时， S(\boldsymbol{\beta}) 取最小值，记作：
\hat{\boldsymbol{\beta}} = \underset{\boldsymbol{\beta}}{\operatorname{arg\,min}}\,S(\boldsymbol{\beta})
通过对S(\boldsymbol{\beta}) 进行微分，求最值，可以得到：
(\mathbf X^{\rm T} \mathbf X )\hat{\boldsymbol{\beta}}= \mathbf X^{\rm T} \mathbf y
如果矩阵(\mathbf X^{\rm T} \mathbf X )非奇异，则\boldsymbol{\beta}有唯一解:
\hat{\boldsymbol{\beta}}= (\mathbf X^{\rm T} \mathbf X )^{-1} \mathbf X^{\rm T} \mathbf y