信息论与编码章节练习(2020.06.01)

问答题
有一个可以旋转的圆盘，盘面上被均匀的分成38份，用1，…，38的数字标示，其中有两份涂绿色，18份涂红色，18份涂黑色，圆盘停转后，盘面上的指针指向某一数字和颜色。（1）如果仅对颜色感兴趣，则计算平均不确定度（2）如果仅对颜色和数字感兴趣，则计算平均不确定度（3）如果颜色已知时，则计算条件熵
答案：
问答题
简述平均互信息量的性质及理解。
答案：
填空题
连续信源或模拟信号的信源编码的理论基础是（）。
答案：限失真信源编码定理
问答题
从平均互信息的表达式证明，当信道和信源都是无记忆时，有：
答案：
填空题
平均错误概率不仅与信道本身的统计特性有关，还与（）和（）有关。
答案：译码规则；编码方法
填空题
离散平稳无记忆信源X的N次扩展信源的熵等于离散信源X的熵的（）倍.
答案：N
问答题
写出这个码能检测的所有错误模式。
答案：
这个码能检测的所有错误模式
{00001，00010，00100，01000，10000}
问答题
试证明n维随机变量的共熵，不大于它们各自的熵之和。
答案：
问答题
什么是最佳编码？说出Shannon、 Fano和Huffman编码的基本方法和主要特点。
答案：
问答题
简述连续信源的熵的定义。
答案：连续信源的不确定度应为无穷大，是相对熵，或叫差熵。在取两熵之间的差时才具有信息的所有特性。