不确定性

---

当事件的发生有多种可能性时，就称此事件的发生具有不确定性，或称此事件是随机事件或不确定事件。

例如，明天的天气情况、股票的价格、某百货店的销售额等就是具有不确定性的事件。

假设随机变量X只有n种可能的结果：x₁、x₂、…x_n。

记P(X=x_i)或p(x_i)为x_i发生的概率。

(p(x₁)、p(x₂)、…、p(x_n))为随机变量X的概率分布，表示所有可能结果的概率。0≤p(x)≤1；p(x₁)+p(x₂)+…+p(x_n)=1。

可以用申农熵描述不同分布不确定性的大小。

记H(X)为随机变量X的申农熵，则有：

H(X)=－p(x_i)lnp(x_i)

例如，设天气全部可能的结果为：(晴天，阴天，雨天)。考察如下不同的概率分布：

X：(p(晴天)=1、p(阴天)=0、p(雨天)=0，)

Y：(p(晴天)=0．1、p(阴天)=0．3、p(雨天)=0．6)

Z：(p(晴天)=1／3、p(阴天)=1／3、p(雨天)=1／3)

对应于以上三个不同的分布的申农熵H(X)＜H(Y)＜H(Z)。第一个分布的不确定性最小(是确定的)，第三个分布的不确定性最大。