信息论与编码章节练习(2020.06.02)

填空题
三进制信源的最小熵为（），最大熵为（）。
答案：0；log₂³bit/符号
问答题
用一个合适的本原多项式由GF（3）构造GF（9）。
答案：考虑由子域构GF（3）造扩域GF（9），已知q=3，m=2，现在对进行分解，即在GF（3）上分解，
填空题
设某二进制码｛00011，10110，01101，11000，10010，10001｝，则码的最小距离是（），假设码字等概分布，则该码的码率为0.517比特/符号，这时若通过二元对称信道接收码字为01100和00110时，应译为（），（）.
答案：2；01101；10110
问答题
现有一幅已离散量化后的图像，图像的灰度量化分成8级，见下表。表中数字为相应像素上的灰度级。另有一无损无噪二元信道，单位时间（秒）内传输100个二元符号。（1）现将图像通过给定的信道传输，不考虑图像的任何统计特性，并采用二元等长码，问需要多长时间才能传完这幅图像？（2）若考虑图像的统计特性（不考虑图像的像素之间的依赖性），求此图像的信源熵H（S），并对灰度级进行霍夫曼最佳二元编码，问平均每个像素需用多少二元码符号来表示？这时需多少时间才能传送完这幅图像？（3）从理论上简要说明这幅图像还可以压缩，而且平均每个像素所需的二元码符号数可以小于H（S）比特。
答案：
问答题
两个离散随机变量X和Y，其和为Z＝X＋Y，若X和Y统计独立，求证：（1）H（X）≤H（Z），H（Y）≤H（Z）（2）H（XY）≥H（Z）
答案：
填空题
按照信息的性质，可以把信息分成（）、（）和（）。
答案：语法信息；语义信息；语用信息
填空题
若连续信源输出信号的平均功率为（），则输出信号幅度的概率密度是（）或（）或（）时，信源具有最大熵，其值为值（）。
答案：
σ²；高斯分布；正态分布；；
问答题
给定语声样值X的概率密度为，求HC(X)，并证明它小于同样方差的正态变量的微分熵。
答案：
问答题
给出该编码器的生成矩阵G。
答案：
由图可知：

故该编码器的生成矩阵G为；

将5个矩阵代入矩阵G中既可。
名词解释
信源编码
答案：就是针对信源输出符号序列的统计特性，通过概率匹配的编码方法，将出现概率大的信源符号尽可能编为短码，从而使信源输出的符号序...