信息论与编码 曹雪虹 张宗橙 清华大学出版社 课(3)

x7x8 xxxxxx X 123456

5.4设信源 =11111111 P(X) 248163264128128

(1)

(2)(3)(4)(5)

解：(1)

求信源熵H(X)；

编二进制香农码和二进制费诺码；

计算二进制香农码和二进制费诺码的平均码长和编码效率；编三进制费诺码；

计算三进制费诺码的平均码长和编码效率；

H(X)= ∑p(xi)log2p(xi)

i=1

8

11111111=×log22+×log24+×log28+×log216+×log232+×log264+×log2128+×log248163264128128=1.984bit/symbol

(2)

香农编码效率：

11111111

K=∑kip(xi)=×1+×2+×3+×4+×5+×6+×7+×7

248163264128128i

=1.984

H(X)H(X)1.984η====100%

R1.984K