熵

---

描述一个事件不确定性程度的量度。

美国数学家申农提出。设X是离散型随机变量，取值是a₁，a₂，…，a_k，…(至多可列个)，且P_r(X=a_i)=p_i(i=1，2，…)，则称“－∑p_ilnp_i”为X的熵，并记为H(X)，即H(X)=－∑p_ilnp_i(注意，上面式中规定当p_i=0时，0·1n0=0)。对于连续型随机变量X，若X～p(x)，且积分“－∫p(x)lnp(x)dx”有意义，则称为p(x)(或X)的熵。如参数空间，若p(θ_k)=1，p(θ_i)=0(当i≠k时)。即θ以概率1取θ_k是肯定的，于是我们求得墒是。这是不确定性最小的极端情形。

若p(θ_i)=1／n，(i=1，2，…，n)于是有H(p(x)==lnn。可见，均匀分布的熵最大。