线性最小二乘估计
概述线性最小二乘估计
linear least squares estimate
以误差的平方和最小为准则根据观测数据估计线性模型中未知参数的一种基本参数估计方法。1794年德国数学家C.F.高斯在解决行星轨道猜测问题时首先提出最小二乘法。它的基本思路是选择估计量使模型（包括静态或动态的，线性或非线性的）输出与实测输出之差的平方和达到最小。这种求误差平方和的方式可以避免正负误差相抵，而且便于数学处理（例如用误差的绝对值就不便于处理）。线性最小二乘法是应用最广泛的参数估计方法，它在理论研究和工程应用中都具有重要的作用，同时它又是许多其他更复杂方法的基础。线性最小二乘法是最小二乘法最简单的一种情况，即模型对所考察的参数是线性的。
线性动态模型＝＋式中数据向量＝[，,…,，，,…，]；参数向量＝[-1,-2,…,-,1,2,…,]；为误差；为模型阶数；为数据长度（≥2）。
估计准则[512-01]使 为最小的参数估计，称为模型的线性最小二乘估计，用符号LS表示。可以得出
LS＝()式中矩阵＝[,,…,]；向量＝[,，…,]。
LS是数据的线性函数，因此称为线性最小二乘估计。它的突出优点是：对于任何一组数据，只要LS存在，不要求了解误差序列{}的统计特性，便能按照求出LS；算法很简单。
LS存在的条件是矩阵()满秩,这要求{}为阶持续激励输入。
当误差序列{}是零均值的白噪声,并对输入、输出功率加以适当的限制时，LS是渐近无偏的强一致性估计,即当N →∞时,[512-02]。但是对于有限的数据,上述结论不能成立,而且通常误差{}也不是白噪声,故一般情况下LS是有偏估计，这是它的缺点。为了克服这个缺点，可以采用其他改进的估计算法，例如广义最小二乘估计、辅助变量估计和极大似然估计等。
上述单输入单输出系统的线性最小二乘估计算法还可推广到多输入多输出系统，并且有相应的递推估计算法。