设信源通过一干扰信道，接收符号为Y={b₁，b₂}，信道传递矩阵为，求
（1）信源X中事件a₁和a₂分别含有的自信息量。
（2）收到消息b_j（j=1，2）后，获得的关于a_i（i=1，2）的信息量。
（3）信源X和信宿Y的信息熵。
（4）信道疑义度H（X/Y）和噪声熵H（Y/X）。
（5）接收到信息Y后获得的平均互信息量。

黑白气象传真图的消息只有黑色和白色两种，即信源X={黑，白}。设黑色出现的概率为p（黑）=0.3，白色的出现概率p（白）=0.7。
（1）假设图上黑白消息出现前后没有关联，求熵H（X）；
（2）假设消息前后有关联，其依赖关系为p（白/白）=0.9，p（黑/白）=0.1，p（白/黑）=0.2，p（黑/黑）=0.8，求此一阶马尔可夫信源的熵H₂（X）；
（3）分别求上述两种信源的剩余度，比较H（X）和H₂（X）的大小，并说明其物理意义。

一阶马尔可夫信源的状态图如图所示。信源X的符号集为{0，1，2}。
（1）求平稳后信源的概率分布；
（2）求信源的熵H_∞。

设是X=X₁，X₂，...，X_N平稳离散有记忆信源，试证明：

设有一个信源，它产生0，1序列的信息。它在任意时间而且不论以前发生过什么符号，均按p（0）=0.4，p（1）=0.6的概率发出符号。
（1）试问这个信源是否是平稳的？
（2）试计算及；
（3）试计算H（X⁴）并写出X⁴信源中可能有的所有符号。

有两个二元随机变量X和Y，它们的联合概率为

并定义另一随机变量Z=XY（一般乘积）。试计算：

对某城市进行交通忙闲的调查，并把天气分成晴雨两种状态，气温分成冷暖两个状态，调查结果得联合出现的相对频度如下：

若把这些频度看作概率测度，求：
（1）忙闲的无条件熵；
（2）天气状态和气温状态已知时忙闲的条件熵；
（3）从天气状态和气温状态获得的关于忙闲的信息。

同时掷两个正常的骰子，也就是各面呈现的概率都为1/6，求：
（1）“3和5同时出现”这事件的自信息量；
（2）“两个1同时出现”这事件的自信息量；
（3）两个点数的各种组合（无序对）的熵或平均信息量；
（4）两个点数之和（即2，3...12构成的子集）的熵；
（5）两个点数中至少有一个是1的自信息量。

设离散无忆信源，其发出的消息为，求
（1）此消息的自信息量是多少？
（2）在此消息中平均每个符号携带的信息量是多少？