某一无记忆信源的符号集为{0,1},已知P(0)=1/4,P(1)=3/4。 (1)求符号的平均熵; (2)有100个符号构成的序列,求某一特定序列(例如有m个“0”和(100 - m)个“1”)的自信息量的表达式; (3)计算(2)中序列的熵。
连续随机变量X和Y的联合概率密度为:,求H(X), H(Y), H(XYZ)和I(X;Y)。
给定语音信号样值X的概率密度为,求Hc(X),并证明它小于同样方差的正态变量的连续熵。