線性最小二乘估計

　　以誤差的平方和最小為準則根據觀測資料估計線性模型中未知參數的一種基本參數估計方法。1794年德國數學傢C.F.高斯在解決行星軌道預測問題時首先提出最小二乘法。它的基本思路是選擇估計量使模型（包括靜態或動態的，線性或非線性的）輸出與實測輸出之差的平方和達到最小。這種求誤差平方和的方式可以避免正負誤差相抵，而且便於數學處理（例如用誤差的絕對值就不便於處理）。線性最小二乘法是應用最廣泛的參數估計方法，它在理論研究和工程應用中都具有重要的作用，同時它又是許多其他更更復雜方法的基礎。線性最小二乘法是最小二乘法最簡單的一種情況，即模型對所考察的參數是線性的。線性動態模型為

y_k＝x

θ＋ ε_k

式中中數據向量x_k＝[y_k-1，y_k-2,…,y_k-n，u_k-1，u_k-2,…，u_k-n]^T；參數向量θ＝[-a₁,-a₂,…,-a_n，b₁,b₂,…,b_n]^T；ε_k為誤差；n為模型階數；N為數據長度（N≥2n）。

　　選擇估計準則

使J為最小的參數估計，稱為模型的線性最小二乘估計，用符號􀌐_LS表示。可以得出

􀌐_LS＝(X^TX)^-1X^TY

式中中矩陣X^T＝[x_n+1，x_n+2,…,x_nn+N]；向量Y＝[y_n+1，y_n+2，…,y_nn+N]^T。

　　􀌐_LS是數據的線性函數，因此稱為線性最小二乘估計。它的突出優點是：對於任何一組數據，隻要􀌐_LS存在，不要求瞭解誤差序列{ε_k}的統計特性，便能按照J求出沁_LS；算法很簡單。

　　沁_LS存在的條件是矩陣(X^TX)滿秩,這要求{u_k}為n階持續激勵輸入。

　　當誤差序列{ε_k}是零均值的白噪聲,並對輸入、輸出功率加以適當的限制時，􀌐_LS是漸近無偏的強一致性估計,即當N →∞時,

。但是對於有限的數據,上述結論不能成立,而且通常誤差{ ε_k}也不是白噪聲,故一般情況下􀌐 _LS是有偏估計，這是它的缺點。為瞭克服這個缺點，可以采用其他改進的估計算法，例如 廣義最小二乘估計、 輔助變量估計和極大似然估計等。

　　上述單輸入單輸出系統的線性最小二乘估計算法還可推廣到多輸入多輸出系統，並且有相應的遞推估計算法。

　　

參考書目

　G.C.哥德溫、R.L.潘恩著，張永光、袁震東譯：《動態系統辨識：試驗設計與數據分析》，科學出版社，北京，1983。(G.C.Goodwin and R.L. Payne，DynamicSystem Identification: Experi-ment Design and Data Analysis, Academic Press, NewYork,1977.)