简述最大离散熵定理.对于一个有m个符号的离散信源，其最大熵是什么？

问答题简述最大离散熵定理.对于一个有m个符号的离散信源，其最大熵是什么？

参考答案：

最大离散熵定理为：离散无记忆信源，等概率分布时熵最大.
最大熵值为H_max=log₂m

您可能感兴趣的试卷

你可能感兴趣的试题

1.判断题相同功率的噪声中，高斯噪声使信道容量最小.

参考答案：对

2.判断题如果信息传输速率大于信道容量，就不存在使传输差错率任意小的信道编码.

参考答案：对

3.判断题最大后验概率准则与最大似然准则是等价的.

参考答案：错

4.填空题设某二进制码｛00011，10110，01101，11000，10010，10001｝，则码的最小距离是（），假设码字等概分布，则该码的码率为0.517比特/符号，这时若通过二元对称信道接收码字为01100和00110时，应译为（），（）.

参考答案：2；01101；10110

5.填空题 信道矩阵代表的信道的信道容量（），达到信道容量的条件是（）.

参考答案：C=符号/1bit；输入符号等概分布

6.填空题信道输入与输出间的平均互信息是信道转移概率的（）函数，是输入概率的（）函数.

参考答案：下凸；上凸

7.填空题离散平稳无记忆信源X的N次扩展信源的熵等于离散信源X的熵的（）倍.

参考答案：N

8.填空题信源编码的目的是A..信道编码的最终目的是（）.

参考答案：提高通信的有效性；提高信号传输的可靠性

9.问答题 设有二个离散信道，其分别输入为X₁和X₂，输出为Y₁和Y₂，对应这二个信道的传递概率为p₁(y/x)和p₂(y/x)，如图所示。其X₁和X₂的概率分布分别为P₁(x) 和P₂(x)。

参考答案：

10.问答题 黑白气象传真图的消息只有黑色和白色两种，即信源X={黑，白}，设黑色出现的概率P（黑）=0.3，白色出现的概率P（白）=0.7。
（1）设图上黑白消息出现前后没有联系，求熵H（X）；
（2）假设消息出现前后有关联，其依赖关系为P（白/白）=0.9，P（黑/白）=0.1，P（白/黑）=0.2，P（黑/黑）=0.8，求此一阶马尔可夫信源的熵H₂；
（3）分别求上述两种信源的剩余度，并比较H（X）和H₂的大小，并说明其物理意义。

参考答案：