设有二个离散信道，其分别输入为X₁和X₂，输出为Y₁和Y₂，对应这二个信道的传递概率为p₁(y/x)和p₂(y/x)，如图所示。其X₁和X₂的概率分布分别为P₁(x) 和P₂(x)。

黑白气象传真图的消息只有黑色和白色两种，即信源X={黑，白}，设黑色出现的概率P（黑）=0.3，白色出现的概率P（白）=0.7。
（1）设图上黑白消息出现前后没有联系，求熵H（X）；
（2）假设消息出现前后有关联，其依赖关系为P（白/白）=0.9，P（黑/白）=0.1，P（白/黑）=0.2，P（黑/黑）=0.8，求此一阶马尔可夫信源的熵H₂；
（3）分别求上述两种信源的剩余度，并比较H（X）和H₂的大小，并说明其物理意义。

设有一个马尔可夫信源，它的状态集为{s₁，s₂，s₃}，符号集为{a₁，a₂，a₃}，及在某状态下发符号的概率为P（a_k/s_i）（i，k=1，2，3），如图所示。

（1）求出图中马尔可夫信源的状态极限概率并找出符号的极限概率。
（2）计算信源处在某一状态下输出符号的条件熵H(X/S=j)(j=s₁,s₂,s₃)。
（3）求出马尔可夫信源熵H。

有一个一阶平稳马尔可夫链X₁，X₂，……X_r……，各X_r取值于集合A={a₁，a₂，a₃}。已知起始概率p（X_r）为p₁=1/2，p₂=p₃=1/4，转移概率如下。

（1）求（X₁，X2，X3）的联合熵和平均符号熵。
（2）求这个链的极限平均符号熵。
（3）求H₀，H₁，H₂和它们所对应的冗余度。

若有二个串接的离散信道，它们的信道矩阵都是

设第一个信道的输入符号Xє{a₁,a₂,a₃,a₄}是等概率分布，输出符号用Z表示。第二个信道输出用Y表示。求I(X;Z)和I(X;Y)，并加以比较。

设两连续随机变量X和Y，它们的联合概率密度是均值为零，协方差矩阵为C的正态分布，，在下列几种情况下，计算I(X;Y)：
（1）ρ＝1；
（2）ρ＝0；
（3）ρ＝－1。

给定语声样值X的概率密度为，求H_C(X)，并证明它小于同样方差的正态变量的微分熵。

设有一个信源，它产生0、1序列的消息。它在任意时间而且不论以前发生过什么符号，均按P（0）=0.4，P（1）=0.6概率发出符号。
（1）试问这个信源是否平稳的？
（2）试计算
（3）试计算H(X⁴)并写出X⁴信源中可能有的所有符号。