黑白传真机的消息元只有黑色和白色两种，即X={黑，白}，一般气象图上，黑色的出现概率p（黑）＝0.3，白色出现的概率p（白）＝0.7。 
（1）假设黑白消息视为前后无关，求信源熵H（X），并画出该信源的香农线图 
（2）实际上各个元素之间是有关联的，其转移概率为：P（白|白）＝0.9143，P（黑|白）＝0.0857，P（白|黑）＝0.2，P（黑|黑）＝0.8，求这个一阶马尔可夫信源的信源熵

有两个二元随机变量X和Y，它们的联合概率为：

并定义另一随机变量Z = XY（一般乘积），试计算： 
（1）H（X），H（Y），H（Z）， H（XZ）， H（YZ）和H（XYZ）； 
（2）H（X/Y），H（Y/X），H（X/Z），H（Z/X），H（Y/Z），H（Z/Y），H（X/YZ），H（Y/XZ）和H（Z/XY）； 
（3）I（X；Y），I（X；Z），I（Y；Z）， I（X；Y/Z）， I（Y；Z/X）和I（X；Z/Y）。

两个实验X和Y，X={x₁ x₂ x₃}，Y={y₁ y₂ y₃}，l联合概率为。
（1）如果有人告诉你X和Y的实验结果，你得到的平均信息量是多少？ 
（2）如果有人告诉你Y的实验结果，你得到的平均信息量是多少？ 
（3）在已知Y实验结果的情况下，告诉你X的实验结果，你得到的平均信息量是多少？

有一个可以旋转的圆盘，盘面上被均匀的分成38份，用1，…，38的数字标示，其中有两份涂绿色，18份涂红色，18份涂黑色，圆盘停转后，盘面上的指针指向某一数字和颜色。 
（1）如果仅对颜色感兴趣，则计算平均不确定度 
（2）如果仅对颜色和数字感兴趣，则计算平均不确定度 
（3）如果颜色已知时，则计算条件熵

设有一离散无记忆信源，其概率空间为
（1）求每个符号的自信息量；
（2）信源发出一消息符号序列为，求该序列的自信息量和平均每个符号携带的信息量。

同时掷出两个正常的骰子，也就是各面呈现的概率都为1/6，求： 
（1）“3和5同时出现”这事件的自信息； 
（2）“两个1同时出现”这事件的自信息； 
（3）两个点数的各种组合（无序）对的熵和平均信息量； 
（4）两个点数之和（即2， 3， … ， 12构成的子集）的熵； 
（5）两个点数中至少有一个是1的自信息量。