最小二乘估計

　　以誤差的平方和最小為準則、根據觀測資料估計模型中未知參數的一種基本參數估計方法。1794年德國數學傢C.F.高斯在解決行星軌道預測問題時首先提出最小二乘法。它的基本思路是選擇估計量使模型（包括靜態或動態的，線性或非線性的）輸出與實測輸出之差的平方和達到最小。這種求誤差平方和的方式可以避免正負誤差相抵，而且便於數學處理（用誤差的絕對值就不便於處理）。最小二乘法用於線性系統的參數估計，在理論研究和工程應用中都都有重要意義。這時模型對所考察的參數是線性的：

y _k= x ^T _k θ+ ε_k

式中數據向量x_k=[y_k－1, y_k－2,…,y_k－n,u_k－1, u_k－2,…,u_k－n]^T；參數向量θ=[−a₁,−a₂,…,−a_n,b₁,b₂,…,b_n]^T；ε_k為誤差，n為模型階數；N為數據長度（N≥2n）。

　　選擇估計準則為

使 J為最小的參數估計稱為模型的最小二乘估計 θ _Ls，可以得出 θ _LS＝( X ^T X) ⁻¹ X ^T Y式中矩陣 X ^T＝［ x _n+1, x _n+2,…, x _n+N］，向量 Y＝［ y _n+1, y _n+2,…, y _n+N］ ^T

　　θ_LS存在的條件是矩陣（X^TX）滿秩，它的突出優點是：對於任何一組數據，不要求誤差序列{ε_k}的統計特性，便能根據J很簡單地求出θ_LS。

　　當誤差序列{ε_k}是零均值的白噪聲，並且X^TX的條件數對N有界時，θ_LS是漸近無偏的強一致性估計，即當N→∞時，

。誤差{ ε_k}不是白噪聲時，一般情況下 θ _LS是有偏估計。這時可以采用其他改進的估計算法，例如廣義最小二乘估計、 輔助變量估計、極大似然估計和消除偏差的估計等。

　　上述單輸入單輸出系統的最小二乘估計算法還可推廣到多輸入多輸出系統，並且有相應的遞推估計算法。

　　廣義最小二乘估計是用疊代的松弛算法對最小二乘估計的一種改進。最小二乘估計在模型誤差為相關噪聲時是有偏估計，這時采用廣義最小二乘估計能獲得較精確的結果。廣義最小二乘估計算法的缺點在於：當信噪比較小時，J可能有多個局部極小點，估計結果不能保證收斂到全局最小點，即參數真值，它的計算量也比最小二乘估計增加很多。這種算法也可推廣到多輸入多輸出系統。