对数的底决定了熵的单位, 当 c=2, e, 3, 10 的时候, 熵的单位分别是 bit, nat, tet, det
一般取底为 2.
熵有如下性质:
1) 对称性. H(p1...pa) 是 (p1...pa) 的对称函数, p 的次序发生变化时, 熵的值不变.
所以对 {1,...,n} 进行置换运算后得到的次序的熵仍然不变
2) 非负性, 对任何概率分布 p拔 =(p1,...pa). 总有 H(p1,...,pa)>=0 成立, 且等号成立的充分必要条件是有一个 pi=1, 其余的 pj=0, j!=i
对于离散随机变量Z, Z 在{x1,...,xa} 中取值:
H(Z)<=loga, 取等号的情况是对所有 i 都有 p(x_i)=1/a
连续型随机变量比较繁, 我就不写了 - -||
