在通道與信源之間和通道與信宿之間必須有變換信號的設施,其中用於提高通道可靠性的稱為通道編碼器和解碼器,它們的基礎就是通道編碼,是資訊理論的重要內容之一。通道編碼大致可分為兩類,一類是通道編碼定理,從理論上解決理想編碼器、解碼器的存在性問題;另一類是構造性的編碼方法以及這些方法能達到的性能界限。

  編碼定理的證明,從離散通道發展到連續通道,從無記憶通道到有記憶通道,從單用戶通道到多用戶通道,從證明差錯概率可接近於零到以指數規律律逼近於零,正在不斷完善。至於編碼方法,在離散信道中一般用代數碼形式,其類型有較大發展,各種界限也不斷有人提出,但尚未達到編碼定理所啟示的限度,尤其是關於多用戶信道,更顯得不足。在連續信道中常采用正交函數系來代表消息,這在極限情況下可達到編碼定理的限度。

  編碼定理 信道容量是信道能傳送的最大信息率。編碼定理就是解決達到這個最大值的可能性和超過這個最大值時的傳輸問題。一般的編碼定理是:若信道容量為C,在信道中傳送的信息率為R(均以每信道符號計),如RC,隻要輸入符號的數目N足夠大,總有一種使接收端譯碼差錯概率任意小的編碼方法。反之,如RC,必定不存在能使接收端譯碼差錯概率任意小的編碼方法;當N→∞,差錯概率將接近1。

  對於多用戶信道,其容量是一個區域的外界“面”(見信道容量),則須把上述的RC換成(R1R2,…)矢量在界“面”的內部,把RC換成(R1R2,…)矢量在界面的外部,其他情況不變。因此,信道容量是一個界限,在這個界限之內可以幾乎無錯誤地傳輸,而在這個界限之外就不可能。在這個界限上的情況則是不明確的。有時把上述定理中的RC稱為編碼定理,而把RC稱為其反定理。

  不是所有信道的編碼定理都已被證明。隻有無記憶單用戶信道和多用戶信道中的特殊情況的編碼定理已有嚴格的證明;其他信道也有一些結果,但尚不完善。其實,當信道的編碼定理未被證明之前,信道容量的概念也並不明確。

  證明信道編碼定理通常采用隨機編碼的概念。所謂編碼,實際上是從各種輸入符號序列中選取M種作為碼字來傳遞信息。例如輸入N個符號X1X2,…,XN,每個符號XrA,若A中有n個元,則一共有nN種序列,從中任選M種作為碼字,就有nNM種選法,也就是有nNM種編碼方法。然後計算每種編碼在接收端檢測時出錯概率的上界,再對每種編碼賦予一個概率測度,也就是說采用一種編碼是隨機的,但卻可計算所有編碼的平均差錯概率的上界。經過復雜的運算可得到這個平均差錯概率pe的上界是

pe<exp[-NE(R)]

式中

為所傳送的信息率, E( R)稱為可靠性函數。當 R小於信道容量時, E( R)大於零。因此當 N→∞, pe的上界將為零。既然所有編碼的平均差錯率將逼近於零,則必有一種較好的編碼,差錯概率也將逼近於零,這就證明瞭能無錯誤地傳送的編碼方法的存在性。反定理也可相仿地證明,隻是此時應求正確概率的上界,並證明它的平均值逼近於零。

  關於多用戶信道編碼定理的證明,基本上仍用單用戶理論,隻是引入瞭時分內插原理。例如在二址接入信道中,把一個輸入作為幹擾,就成為單用戶問題,這樣可得到一種編碼方法;再把另一個輸入作為幹擾,又得到另一種編碼方法;然後這兩種編碼方法按時間來分配,也就是某段時間用前一種編碼,而另一段時間用後一種編碼,這樣就擴展瞭容量區域,成為原來兩種編碼的區域的凸包,從而證明二址接入信道的編碼定理,因為分別位於兩個二維區域中 (Rí,R2)和(RiʺR2")兩點的連線上的任一內點(R1R2)就是時間分配的結果。

  可靠性函數E(R)指出瞭差錯概率與信息率 R和序列長度N的關系,但這是上界公式,還不能確切指出最佳編碼的實際差錯值。人們試圖計算差錯概率的下界,以得到相仿的指數關系,隻是所得到的 E1(R)與上述E(R)不完全相同,還不能得到差錯概率的確切值或確切的逼近零的速度,因此這也是編碼定理中尚存的問題之一。

  編碼方法 編碼定理隻證明瞭最佳編碼方法的存在性。50年代發展起來的糾錯碼理論,是為實現最佳編碼方法而發展的。以二元對稱信道為例,n個輸入符號共有2n種序列,隻選用2k種序列(kn)作為碼字,則信息率Rk/n比特/符號。倘若這種編碼方法能糾正傳輸引起的t個錯誤符號,則當n→∞、信道的誤碼率ε小於t/n時,就能達到無錯誤的傳輸,這時信道容量已知為1-H(ε)比特/符號,其中H(ε)是熵函數,即

H(x)=-xlog2x-(1-x)log2(1-x)

時, H( ε)是單調遞增的,因而編碼定理所規定的無錯傳送的界限是

取等號時的曲線稱為漢明上限(見圖)。任何編碼方法不可能超過此界限。

  現用的糾錯碼大多是線性碼,可證明這類碼的上界是伊萊亞斯上限,一定能達到的有V-G下限。現有的線性碼是不能達到理想編碼的。這些還都是理論性結論,實際編碼如BCH碼,當n→∞,t/n保持一定時,k/n將趨於零;反之,k/n保持不變時,t/n也將趨於零,這與編碼定理的結果就有更大的距離。以後發展的許多糾錯編碼如戈帕碼、卷積碼都有類似的情況。至於後來出現的包括算術碼的非線性編碼,其極限情況還不十分明朗。