信息论与编码问答题每日一练(2019.11.06)

问答题
对二元（2n，1）重复码，设计一种合适的译码规则，并求出它的译码平均错误概率PE。
答案：
问答题
证明：若（X，Y，Z）是马氏链，则（Z，Y，X）也是马氏链。
答案：
问答题
写出这个码能检测的所有错误模式。
答案：
这个码能检测的所有错误模式
{00001，00010，00100，01000，10000}
问答题
黑白气象传真图的消息只有黑色和白色两种，即信源X={黑，白}。设黑色出现的概率为p（黑）=0.3，白色的出现概率p（白）=0.7。（1）假设图上黑白消息出现前后没有关联，求熵H（X）；（2）假设消息前后有关联，其依赖关系为p（白/白）=0.9，p（黑/白）=0.1，p（白/黑）=0.2，p（黑/黑）=0.8，求此一阶马尔可夫信源的熵H2（X）；（3）分别求上述两种信源的剩余度，比较H（X）和H2（X）的大小，并说明其物理意义。
答案：（1）比特/信源符号；
（2）由各态历经定理，有，即
P（白）=p（白）p（白/白）+p（黑）p（白...
问答题
简述连续信源的熵的定义。
答案：连续信源的不确定度应为无穷大，是相对熵，或叫差熵。在取两熵之间的差时才具有信息的所有特性。