信源資訊率的多餘程度。它是描述信源統計特性的一個物理量。直觀地說，除瞭在傳輸和恢復消息時所需的最少、最必要的資訊以外，其他部分都叫剩餘。而剩餘度則表示相對剩餘，即在信源中剩餘所占的比重。為瞭確切說明剩餘度就必須引入資訊熵的概念。若用H0代表無記憶等概率信源的單個消息熵，H1代表無記憶憶不等概率信源的單個消息熵，Hm代表記憶長度為m的信源的單個消息熵，H
代表記憶長度為無限時信源的單個消息熵，則由熵的性質可得到下列表征信源統計特性的不等式：
即可。但實際上由於很難掌握全部信源的概率統計特性，隻能多傳送一些，比如傳送
H
m，這樣
H
m-
H
∞越大，也就越不經濟。為瞭定量地描述信源的有效性，可規定信源的效率為
；規定信源的剩餘度為
。正是因為信源存在著剩餘，也就存在著壓縮信息率的可能性。剩餘越大，壓縮潛力也就越大。工程上所采用的數據壓縮、頻帶壓縮均基於這個原理。以英文信源為例:英文有26個字母，加上空檔共27個。於是，
H
0=
log
227=4.76比特。根據對英文字母出現概率的統計結果可算出：
比特，
H
2=3.32比特，
H
3=3.1比特，至於
H
∞，由於采用的統計逼近方法或所取樣本的不同，可以有不同值，一般認為
H
∞≈1.4比特，則有
這一結論說明英文信源是可以壓縮的。例如對100頁的英文書，理論上僅需傳送29頁。至於中文，若按常用的6700個漢字考慮，這時，
H
0=log
26700≈13比特。對漢字頻數進行統計，其工作量遠大於英文。中國已有不少人作瞭嘗試，大致估得
H
1≈9比特，
H
2≈8比特，…，
H
∞≈4比特，這些數字還有待於進一步精確化，但據估計中文剩餘不比英文小。至於語聲和電視信源的剩餘度，人們尚未測得確切數據，但估計比文字信源還要大。