信息量

---

信息接收者收到信源发出的消息后，不确定性减少的量。

维纳曾说过，信息量是一个可以看作几率的量的对数的负数。若假设x是一个具有概率p的消息，我们要找出一个测度I，来表示收到x时不确定性减少的量，即获得的信息量。假若消息集合为在该集合中，若每一消息出现的概率不等，即p₁，p₂，……，p_n均不相等。

第i个消息x_i，有概率p_j，]。在n个消息的序列中，这个消息应出现n×p_i次。当无十扰时，从信源收到一个消息所获平均信息量则为_i式中K为常数，根据选用的单位而定。

此式即为计算信息量的公式。H称为信息的熵。它表示通信系统中，终端对信源端发出消息的不确定性或不肯定程度。H是概率的函数，与消息xi发出的次序无关。这里我们涉及的是离散信源，即发出有限数量的离散消息的信源。最简单的信源是发出0，1两个符号形式的信息。

信息量的提出，把信息的研究推向了定量化，从而使通信理论由定性阶段进入到定量阶段，成为一门更为完善的科学，并为信息论的进一步研究与发展奠定了初步的理论基础。