線性判別函數

　　統計模式識別中用以對模式進行分類的一種最簡單的判別函數。在特徵空間中，通過學習，不同的類別可以得到不同的判別函數，比較不同類別的判別函數值大小，就可以進行分類。統計模式識別方法把特徵空間劃分為決策區對模式進行分類。一個模式類同一個或幾個決策區相對應。每個決策區對應一個判別函數。對於特徵空間中的每個特徵向量x,可以計算相應於各個決策區的判別函數g_i(x),i=1,2,…,c。用判別函數進行分類的方法就是：若對所有的i均有g_i(x)≥g_i(x),則把x分為第j類,記成r(x)＝j。對於線性判別函數,g_i(x)的函數形式為

g_i(x)＝W_i0＋W_i1x₁＋W_i2x₂＋…＋W_idx_d

式中中x₁,x₂,…,x_d是輸入模式特征向量的各個分量，W_i0，W_i1,…,W_id組成與第i類對應的權向量，它們的大小反映與它們對應的特征向量的各個分量在確定第 i類判別函數值的重要程度。

　　特征空間中分別與第i類、第j類相對應的區域之間的決策邊界形式為

對於一個兩類分類器,可以計算g(x)＝g₂(x)-g₁(x)。若g(x)≥0，則r(x)＝2，相應於決策區R₂。若g(x)＜0,則r(x)＝1，相應於決策區R₁。這一結果可寫成

式中sgn(Z)是符號函數，在Z≥0時等於1,在Z＜0時等於-1。這樣一個兩類線性分類器具有圖中的形式。

　　

人們已研究出多種求取決策邊界的算法。線性判別函數的決策邊界是一個超平面方程式，其中的系數可以從已知類別的學習樣本集求得。F.羅森佈拉特的錯誤修正訓練程序是求取兩類線性可分分類器決策邊界的早期方法之一。在用線性判別函數不可能對所有學習樣本正確分類的情況下，可以規定一個準則函數（例如對學習樣本的錯分數最少）並用使準則函數達到最優的算法求取決策邊界。用線性判別函數的模式分類器也稱為線性分類器或線性機。這種分類器計算簡單，不要求估計特征向量的類條件概率密度，是一種非參數分類方法。

　　當用貝葉斯決策理論進行分類器設計時，在一定的假設下也可以得到線性判別函數，這無論對於線性可分或線性不可分的情況都是適用的。在問題比較復雜的情況下可以用多段線性判別函數（見近鄰法分類、最小距離分類）或多項式判別函數對模式進行分類。一個二階的多項式判別函數可以表示為

與它相應的決策邊界是一個超二次曲面。

　　

參考書目

　R.O.Duda and P.E.Hart，Pattern Classificationand Scene Analysis,John Wiley & Sons，New York,1973.