黑白气象传真图的消息只有黑色和白色两种，即信源X={黑，白}，设黑色出现的概率P（黑）=0.3，白色出现的概率P（白）=0.7。
（1）设图上黑白消息出现前后没有联系，求熵H（X）；
（2）假设消息出现前后有关联，其依赖关系为P（白/白）=0.9，P（黑/白）=0.1，P（白/黑）=0.2，P（黑/黑）=0.8，求此一阶马尔可夫信源的熵H₂；
（3）分别求上述两种信源的剩余度，并比较H（X）和H₂的大小，并说明其物理意义。

设有一个马尔可夫信源，它的状态集为{s₁，s₂，s₃}，符号集为{a₁，a₂，a₃}，及在某状态下发符号的概率为P（a_k/s_i）（i，k=1，2，3），如图所示。

（1）求出图中马尔可夫信源的状态极限概率并找出符号的极限概率。
（2）计算信源处在某一状态下输出符号的条件熵H(X/S=j)(j=s₁,s₂,s₃)。
（3）求出马尔可夫信源熵H。

有一个一阶平稳马尔可夫链X₁，X₂，……X_r……，各X_r取值于集合A={a₁，a₂，a₃}。已知起始概率p（X_r）为p₁=1/2，p₂=p₃=1/4，转移概率如下。

（1）求（X₁，X2，X3）的联合熵和平均符号熵。
（2）求这个链的极限平均符号熵。
（3）求H₀，H₁，H₂和它们所对应的冗余度。

若有二个串接的离散信道，它们的信道矩阵都是

设第一个信道的输入符号Xє{a₁,a₂,a₃,a₄}是等概率分布，输出符号用Z表示。第二个信道输出用Y表示。求I(X;Z)和I(X;Y)，并加以比较。

设两连续随机变量X和Y，它们的联合概率密度是均值为零，协方差矩阵为C的正态分布，，在下列几种情况下，计算I(X;Y)：
（1）ρ＝1；
（2）ρ＝0；
（3）ρ＝－1。

给定语声样值X的概率密度为，求H_C(X)，并证明它小于同样方差的正态变量的微分熵。

设有一个信源，它产生0、1序列的消息。它在任意时间而且不论以前发生过什么符号，均按P（0）=0.4，P（1）=0.6概率发出符号。
（1）试问这个信源是否平稳的？
（2）试计算
（3）试计算H(X⁴)并写出X⁴信源中可能有的所有符号。

（1）为了使电视图像获得良好的清晰度和规定的适当的对比度，需要用5×10⁵个像素和10个不同亮度电平，设每秒要传送30帧图像，所有像素是独立变化的，且所有亮度电平等概率出现，求传送此图像所需的信息率（bit/s）。
（2）设某彩电系统，除了满足对于黑白电视系统的上述要求外，还必须有30个不同的色彩度，试证明传输这彩色系统的信息率要比黑白系统的信息率大约2.5倍。

为了传输一个由字母A、B、C、D组成的符号集，把每个字母编码成两个二元码脉冲序列，以00代表A，01代表B，10代表C，11代表D。每个二元码脉冲宽度为5ms。
（1） 不同字母等概率出现时，计算传输的平均信息速率？
（2） 若每个字母出现的概率分别为p_A=1/5，p_B=1/4，p_C=1/4，p_D=3/10，试计算传输的平均信息速率？

有一信源输出X∈{0,1,2}，其概率为p₀=1/4，p₁=1/4，p₂=1/2。设计两个独立实验去观察它，其结果为Y₁∈{0,1}和Y₂∈{0,1}。已知条件概率为

求：
1) I(X;Y₁)和I(X;Y₂)，并判断哪一个实验好些。
2) I(X;Y₁,Y₂)，并计算做Y₁和Y₂两个实验比做Y₁或Y₂中的一个实验各可多得多少关于X的信息。
3) I(X;Y₁/Y₂)和I(X;Y₂/Y₁)，并解释它们的含义。