研究控制廣義通信系統設計的數學規律的理論。它是概率論、隨機過程論與通信技術結合的學科，主要任務是研究通信系統的有效性（效率）和可靠性，以及二者的關係。通信的本質是資訊的傳輸。廣義通信不僅包括電報、傳真、電話、廣播和電視等，也包括雷達、聲納、資訊存取、資訊處理、人與機器或機器之間的通信等。進行科學實驗或對某個系統進行觀察，如人工地震、探礦技術和射電天文觀測，也是獲取或接收資訊的過程。
在資訊理論的理論研究中，把各種通信系統概概括為統一的模型。圖1表示簡單的通信系統模型。信源產生待傳輸的消息。消息的形式是多種多樣的，如字母、文字、旗語、數據、語聲、音樂和圖像等（這些都可視為符號序列）。但是消息不同於信息，它是信息的載體。發送機將消息變換為適合於信道的信號，信號遂成為信息的載體。變換指的是從消息轉變為信號的全過程，其中最主要的常是編碼與調制。信道是信號從發送機傳輸到接收機的媒質，如導體、傳播電磁波的自由空間和光導纖維等。信號在傳輸途中總要遇到一些幹擾，受到不可預計的損害。這些幹擾被稱為噪聲，系統各部分的噪聲的總合以噪聲源表示。接收機是發送機的對應端，它將信號再變換為消息。但是，接收信號一般已受到幹擾，輸出的消息中將出現失真或錯誤，因而失去部分信息。信宿是被傳輸信息的歸宿，也就是接受者。
在上述模型中隻有一個信源和一個信宿。如果將它推廣，信源或信宿或兩者均超過一個，傳輸方向也可能不是單向的，就可得出各種多用戶通信系統模型。
由於信息論的應用比較廣泛，與許多學科有聯系，並有與一些學科互相滲透、形成新學科的趨勢，以致難以清晰地確定其內容范圍。電子學界一般認為信息論的主要內容包括信息熵（信息的度量）、信源編碼、信息傳輸、信道容量、信道編碼、信息率-失真理論、檢測與估計（見檢測理論及估計理論）和保密學等。
歷史和發展 信息論是在20世紀中葉從電信技術中總結和發展起來的理論。美國C.E.仙農於1948年所著論文《通信的數學理論》為此奠定瞭基礎。1928年R.V.L.哈特萊得出信息定量的概念。他把待傳輸的消息考慮為符號序列，舍去消息的語義，不把它作為計算信息量的因素。他指出，從含有N個元的符號集合中選擇L個元組成的不同序列有NL個，這些序列代表不同的消息。如果對這些消息的選擇是隨機的，並且是等可能的，他建議把每個消息所含信息量計為I=log10NL。哈特萊忽視語義的思想和對信息定量的概念，後來都成為仙農創立信息論的基礎。仙農最初的貢獻可以概括為：①從準公理的觀點對信息量作出定義；②研究瞭在無噪聲和有噪聲信道中傳輸離散消息時的信息流量；③建立瞭信道容量的概念，並闡明瞭它的實際意義；④建立瞭某些基本的編碼定理；⑤研究瞭在有噪聲情況下傳輸連續信號時的信息流量。50年代以來，仙農本人，美國、蘇聯、日本和一些歐洲國傢的學者以及中國學者，對信息論都作出瞭不同程度的貢獻。信息論的發展主要表現在兩個方面：第一，從1969年得到重視和發展的信息率-失真理論及其應用；第二，對多用戶通信系統模型的研究。
與仙農同時，N.維納研究瞭抑制噪聲的濾波問題。他把信號和噪聲都看作隨機過程，作出信號在疊加噪聲後的波形與信號原波形之間有最小均方誤差的濾波器設計，稱為維納濾波。維納濾波後來又發展為卡爾曼濾波。維納理論在很長時間被公認為是信息論的組成部分。但是，60年代初遞歸濾波作為一個課題出現在控制理論中，並且與最優控制聯系，使維納理論得到新的動力，從而成為基本上獨立於信息論的研究課題。
同時，仙農在貝爾實驗室的同行們在致力研究糾錯編碼技術，對要傳輸的序列進行編碼，使它在傳輸中發生一定數量的錯誤時可以被發現或自動糾正。最初的代表性著作是R.W.漢明於1950年公佈的。糾錯編碼是用以增強通信可靠性的，後來，它就自然地成為信息論的一個分支。
另一個被納入信息論范圍的重要分支，是信號的統計檢測和估計理論，因為要從一個實體或系統獲取信息必然要從一組假設中判決（檢測）何者為真，或對表征實體或系統的某些參量作出估計。決策理論和估計理論問題，在18世紀中葉和19世紀初已有所研究。20～30年代，R.A.費歇耳J.奈曼和E.S.皮爾遜對經典理論作出的新貢獻成為現代檢測和估計理論的基礎。第二次世界大戰以來，主要是將理論應用於對各種通信系統的設計和分析。50年代末期，利用激光射束的通信和雷達系統的發展，則引起瞭對光頻信號的有效檢測與參量估計以及對傳輸這些信號的信道性質的研究。
學科內容 信息論這一學科的主要內容包括信息的度量、信源編碼、信息傳輸、糾錯編碼、信息率-失真理論、檢測與估計和保密學等。
信息的度量和定量 由於消息的形式多種多樣，必須對它們所含的信息有一個統一的定量方法，以便作為物理量來處理。在通信系統中傳輸的消息是信源從其所可能給出的符號中逐個產生的個別符號。從統計學的觀點來說，消息的產生過程就是從一個符號集合(符號表)中作出一串任意的選擇，但對不同元（符號）的選擇對應著不同的概率，並且前後的選擇可能有相關性。最簡單的信源是兩個元組成的集合，例如“是”和“非”，且前後符號獨立，每個符號的發生概率均為1/2。最簡單的消息是由它產生的單符號消息。人們以這種等概率的二者擇一的符號所含的平均信息量作為單位信息量，稱為比特，可以從下式得出
(1)
式中P1和P2分別是兩個符號的發生概率。對於式(1)：第i個符號所含信息量是
；所以式(1)是每個符號的統計平均信息量。這個概念可以推廣到信源是
N個符號組成的集合，並且各符號的概率為
P
i(
i=1，2，…，
N)的情況。這時每個符號的平均信息量為
(2)
信息量的這個計算方法符合三個通常的概念。①發生概率越小的消息所含信息量越大，即稀罕的事所含信息量大。如果N 個符號是等概率的，H 取極大值，因為人們不能從這個概率分佈獲得對消息的任何傾向性。如果符號表中隻含一個符號，就是說，每次都傳送同一消息，當然H＝0。②如果信源產生個別符號時分兩步走，先將全體符號分為若幹組，並從中選擇一組，後從已選組中選擇符號；那麼，按照上述原理所確定的平均信息量，與一次直接選擇出符號所求得的結果相等。③若信源連續發生兩個獨立的符號，把這兩個符號看成一個大符號來計算的信息量等於按每個符號單獨計算時的信息量的和。理論傢們從公理出發所得出的信息量計算公式與式 (2)是一致的。在數字通信技術中，計算信號速率時常把每個二進制數位稱為“比特”，它的概念是與作為信息量的單位“比特”不同的。式(2)中的H常稱為信源的信息熵，或簡稱為熵，又常把它視為對信源的不定度的量度。
信源所產生的消息常常不是單一符號，而是一個序列，前後存在相關性。相關性越強，符號平均信息量越小。相關性延續的符號數越多，一般地說，符號平均信息量越小。
信源編碼 信源編碼要解決的問題是對信源產生的符號序列進行編碼（常用二進制碼），要求能夠正確無誤地譯碼，同時力求高的編碼效率，以減少傳輸時間或縮小存儲空間。若信源符號包含A、B、C和D，相應的發生概率是1/2、1/4、1/8和1/8。如果直接用二進制數編碼，結果可能是A:11、B:10、C:01、D:00。編碼效率為每一符號2個二進制碼。若在編碼時利用統計規律，則可能的結果是A:1、B:01、C:001、D:000。用這個方法編出的序列能還原為原符號，不會出現劃段錯誤。同時，每個符號所需的位數將是1.75，效率較前提高。信源的熵也等於1.75比特／符號。這是一個特例，但符合信息論的一個重要結果:如果離散無記憶信源的熵為H 比特/符號，那麼，用二進制數字對它的符號逐個進行編碼，總可以找到所需位數任意接近H 的碼。對於前後有相關性，或稱有記憶的信源，這個定理仍然成立，但此時不是對信源符號逐個進行編碼，而是對長符號序列進行編碼。
信息傳輸和信道容量 按照通信系統的模型(圖1)，如果信道是無噪聲的，發端所送出的消息可以在接收機輸出端還原，送給信宿，信息無損失。但是，信道中通常存在噪聲。例如，對於圖2中的二元信道，發端和收端均有兩個符號(0，1)，發端記為x，收端記為y。因為有噪聲，傳輸可能錯誤。當x＝0時，它以條件概率P00被正確接收為y＝0，以P10被錯誤接收為y＝1。當發送x＝1時，正確與錯誤的概率分別是P11和P01。這一組條件概率｛Pki｝(i，k=0，1)，表征二元信道的數學模型。設x＝0和1的先驗概率分別為P0和P1，那麼，在信道輸入的熵（或不定度）為
在收端，不論y為0或1，都不能確知是否與所發的x對應無誤，即仍有不定度。從Pi和Pki(i，k=0，1)可以求出y=k時的概率Qk和後驗概率Qik，後者是信道輸出y＝k時輸入x=i的概率。對於每個y=k，用Qik代替式(2)中的Pi，再將得出的熵以Qk加權求和，即得收到y後x的條件熵或不定度
(3)
而H(x)-H(x|y)是通信過程所消除的x的不定度，它等於發端傳至收端的平均信息量。在無噪聲時，當i=k，Qik=1；於是H（x│y）=0(這裡約定0log20＝0)，從發端傳至收端的信息量，等於H(x)，發端x的不定度全部消除。
對於給定信道，所有條件概率｛Pki｝是確定的，但平均信息傳輸率H(x)-H(x│y)隨先驗概率｛Pi｝而變。信道容量C 就是改變此先驗概率分佈時所能得到的最大平均信息傳輸率。關於信息在信道中傳輸的基本定理是信道編碼定理。它的粗略概念是：如果待傳輸的信息率R＜C，則總存在一種編碼，使在收端還原出原消息的符號差錯概率任意地小；反之，若R＞C，則差錯概率必大於零。有瞭這個定理，信道容量的概念才有明確的實際意義。
糾錯編碼 信道編碼定理隻說明理想編碼的存在性，沒有指出它的構造方法。糾錯編碼的研究本來就致力於降低碼的傳輸錯誤，信息論建立以後，它成為企圖逼近理想編碼的一種方法，因而糾錯編碼又稱為信道編碼。在圖1的通信系統中將發送機的調制等部分和接收機的相應解調等部分納入信道。這樣發送機便成為編碼器，接收機僅是譯碼器。編（譯）碼器可能有兩個部分，信源編（譯）碼器和信道編（譯）碼器。信道編碼器和譯碼器的任務是力求自動地發現或糾正在信道中傳錯的碼元。
在糾錯編碼中常用均等校驗技術。由信源編碼器或信源直接輸出的碼元稱為信息位。每k位為一組，並在每組的後面加一個校驗位，使這k+1位的和為偶（奇）。在傳輸過程中，若k+1位的碼組中有1位發生錯誤，就會因為它們的和為奇（偶）而被譯碼器發現，但不知哪一位有誤，仍不能糾正，隻能要求發端重發這個碼組。如果根據一定規則從k個信息位計算出n-k個校驗位，共同組成一個碼組，那麼在譯碼時便可在一個碼組中糾正（或檢出）一個或多個錯誤。這種碼稱為分組碼。碼的分組長度是n，因校驗位不攜帶信息，故編碼效率（碼率）為k/m。在一定信息位數下，校驗位越多糾錯能力越強，而碼率越低。雖然從理論上已經證明，錯誤概率任意接近於零，同時碼率任意接近於信道容量的分組碼是存在的，但分組長度既隨錯誤概率接近零而增加，也隨碼率接近信道容量而增加，並且迄今尚未找到一般的構造理論碼的步驟。
與分組碼並列的有卷積碼。雖然對它的理論研究不及分組碼成熟，但卻得到較多的實際應用。在分組碼中校驗位僅與本組的信息位有關，而在卷積碼中校驗位不僅與本組信息位有關，且與前面的信息位有關。以碼率為1/n的卷積碼為例，其編碼方法是:編碼器根據一定規則從連續K個信息位 s1，…，sK計算出信道序列的首n位；然後sK+1進入編碼器，s1溢出，再從s2，…，sK+1計算信道序列的次n位；依此類推。這裡的K稱為約束長度。譯碼時也是逐位譯出。如果碼率是k/n，則隻是以k位的信息位組代替前面的一個信息位，從而每次進入和溢出編碼器的信息位為k位，不是1位；參與計算的信息位不是K位，而是kK位。譯碼時每步譯出k位。要達到很低的碼元錯誤概率，編碼的約束必須很長。
信息率-失真理論 有一類信源產生的消息是在時間上離散的、但取值為連續的數值序列；另一類信源被稱為連續信源，一個連續信源產生的消息是時間的連續函數(隨機過程的樣函數)。但是，任何信宿都不能，也沒有必要鑒別這種無窮小的值差，所以可用近似值代替精確值。就是說，信宿可以容許一定的失真度。不過失真度不能在某一個別消息和它的近似之間定義，必須在所有消息上取統計平均來定義(見信息率-失真理論)。既然信宿可以容許一定的失真度，信源傳送給它的信息量就可以低於無失真時的信息量。允許的失真度越大，所需要的信息率就越低。對應於一定的失真度D 所必需的最低信息率稱為信息率-失真函數R(D)。反之，若信源傳送給信宿的信息率達到R(D)，最終的失真度則不會超過D 。
粗略地說，如果離散無記憶平穩信源的信息率－失真函數是R(D)(比特／符號)，且允許用R′二進制位／源符號，R′＞R(D)，對它的長序列進行編碼時，則必存在一種碼能使譯碼後的失真可以任意接近於D。反之，若R′＜R(D)，則任何編碼的譯碼失真必大於D。這是與前面的信源編碼（無失真）相似的結果。考慮將這種信源產生的消息通過容量為C的信道進行傳輸的問題，原則上可以計算滿足R(DC)=C時的DC，信源和信宿間的平均失真度至少為DC。。信源編碼器可先把待傳輸消息變換為C個二進制位/源符號。信道編碼器對它進行再次變換，使到達信宿時的平均失真度任意接近於DC。當然，兩個譯碼器都要能正確地完成相應的逆變換。這個理想系統尚難以具體實現，但可以作為一個標準使用。
檢測和估計 研究如何從混有噪聲的信號中檢測消息，並從而得出最佳接收機設計原則的理論。若要檢測的消息有n個，編號為0至n-1，且消息的先驗概率是已知的，任一消息j被接收為i的代價 Cij(i，j=0，1，…，n-1)也是已知的。那麼，確定最佳接收的合理準則通常是:所付的代價為極小，這個準則稱為貝葉斯準則。如果先驗概率是未知的，也無足夠根據可以假設它們，就須采用極小極大準則，即最佳接收時可能付出的最大平均代價為極小。在特定的二元檢測情況下，例如雷達探測空中某區域有無目標，不但缺乏消息的先驗知識，且誤判有目標（虛警）的代價難以估計時，常用奈曼-皮爾遜準則。這個準則的意義是在虛警概率不超過規定值時，正確判決有目標的概率為極大。應用上述三個準則中的任一準則接收機的基本結構都是相同的。
如果消息內含的信息反映一個或多個取值連續的參量，那麼信息提取過程稱為估計，即要根據混有噪聲的信號對這些參量進行估值。估計和檢測的基本理論是兩個相似的平行分支。在估計問題中有時待估計的消息是時間的連續函數，甚至是時間和空間的函數。在特定情況下，這個問題可以用維納濾波器或卡爾曼濾波器解決。
保密學 仙農於1949年在其《保密體制的通信理論》一文中闡明，用信息論的概念可以在保密學中形成一個原則：一種語言的信息率與該語言密碼的解密可能性有直接關系，信息率越低，解密越容易，為瞭完全或唯一地解出密碼所需要截獲的消息越少。
信息論與其他學科的關系 信息論與物理學、分析化學、遺傳學和心理學等學科有密切的關系。
信息熵表征信源的不定度，它等於消除這個不定度所需要的信息量。在熱力學中，熵的表達式與信息熵相同，但它是用來表示分子狀態的雜亂程度的。這兩個熵互為負量。美國的L.N.佈裡淵導出瞭兩者的關系(1956年)：1比特的信息量等價於kln2(J/K)，其中k為玻耳茲曼常數；從而推廣瞭熱力學的第二定律，即ΔS-ΔI≥0，式中ΔS為熱熵增量；ΔI為信息熵增量。這就是說，在孤立的絕熱系統中，如果有信息參與，就不能說熱熵不能減小，而是ΔS-ΔI不能減小。這樣，就更好地解釋瞭“麥克斯韋精靈”理想實驗。精靈之所以能降低與它聯系著的系統的熱熵，是因為它獲有信息。
化學分析是從樣品中獲取被抽樣物質成分的信息的過程。定性分析的目的是確定樣品中是否存在某些成分。定量分析的特點是可以獲得關於成分的數字信息，即某些成分的濃度或量。從分析所得到的信息量，是以分析前後成分的不定度的差來度量的。人們可以從信息論的觀點對分析方法進行優化。
生物遺傳的性狀，決定於細胞內部的脫氧核糖核酸(DNA)。DNA的分子由4種不同的堿基核苷酸(A，G，C，T)連接成的兩條核苷酸鏈（序列）以雙螺旋形式組成。這兩條鏈是遺傳信息的載體，其上各核苷酸的配對是固定的，所以兩鏈上的信息是重復的。重復起著保護遺傳信息的作用。
DNA 長鏈上的一段核苷酸序列形成一個基因。高等生物DNA的核苷酸鏈比低等生物的鏈長得多，但遺傳基因的數目並不與DNA的鏈長成比例，因為許多基因為間隙子所隔離。在子代發育過程中，脫氧核糖核酸(DNA)上的信息轉錄到信使核糖核酸(mRNA)上，這些間隙被切除，而相關的酶把表征遺傳信息的表達子連接在一起，從而形成mRNA。這為定向地改造生物提供瞭可能性。從信息論的觀點看，間隙子可能起著類似於糾錯碼、同步碼或其他的保護遺傳信息的作用。遺傳的變異等其他問題顯然也與信息論有密切關系。
人類對於刺激的反應時間與該刺激所含的信息量有關。例如，有幾個電燈以一定的概率分佈，隨機地逐個明亮，那麼，這組燈就是一個信源。要求受試者在某一燈明亮以後，盡快地按撳鈕滅燈。試驗的結果表明，受試者完成這個動作所需的平均時間的增長與這組燈所給出的信息率增長之間有線性關系。這對揭示人類處理信息的規律和方法很有幫助。
參考書目
R.G.Gallager， Information Theory and Reliable Communication，Wiley，New York，1968.
E. R. Berlekamp， Algebraic Coding Theory，McGraw-Hill，New York，1968.
H. L. Van Trees， Detection Estimation， and Modulation Theory，Part1，Wiley，New York，1968.