信息论

---

应用概率论与数理统计方法研究信息处理和信息传递的科学。

主要研究信息的获取、变换和处理等问题。最早产生于通讯领域，旨在解决编码问题。由申农和维纳发展，早期称“通讯理论”。

该理论认为，通迅系统一般由以下几部分组成：

信源在系统的发送端产生信息，通过编码使信息符合信道输入的要求；信道是传递信息的物理介质，通过译码使信息符合接收端的要求，信宿是信息接收终端。噪声指干扰。若信息取自离散随机变量集，则这个信源就称离散信源，否则就是连续信源。

产生字母和数字的信源，即离散信源；产生言语和音乐的信源即连续信源。申农在1948年发表的《通信的数学理论》和1949年发表的《在噪声中的通信》这两篇论文中，将通信中传递的内容进行高度抽象，用数学统计方法，将这些千变万化的随机内容进行统一量化，提出“信息”的概念和计量方法，从量的方面来描述信息的贮存和提取问题，并提出通讯系统模型和编码定理等方面的信息理论问题，确立现代信息理论的基础。

已与当代数学、计算机科学、人工智能、电子学、自动化技术、物理学、生物学、心理学等学科有机结合，发展成一门独立的边缘科学。