一阶马尔可夫信源的状态图如图所示,信源X的符号集为(0,1,2)。 (1)求信源平稳后的概率分布P(0),P(1),P(2) (2)求此信源的熵 (3)近似认为此信源为无记忆时,符号的概率分布为平稳分布。求近似信源的熵H(X)并与H∞进行比较
有一个一阶平稳马尔可夫链X1,X2,X3,Xr,各Xr取值于集合A={a1,a2,a3},已知起始概率P(Xr)为p1=1/2,p2=p3=1/4,转移概率如下图所示: (1)求(X1,X2,X3)的联合熵和平均符号熵 (2)求这个链的极限平均符号熵 (3)求H0,H1,H2和它们说对应的冗余度
某一无记忆信源的符号集为{0,1},已知P(0)=1/4,P(1)=3/4。 (1)求符号的平均熵; (2)有100个符号构成的序列,求某一特定序列(例如有m个“0”和(100 - m)个“1”)的自信息量的表达式; (3)计算(2)中序列的熵。