一个随机事件发生某一结果后所带来的信息量成为自信息量,定义为其发生概率对数的负值。
信源某t时刻所处的状态由当前的输出符号和前一时刻(t-1)信源的状态唯一决定,则称此信源为马尔可夫信源。
信息的数学表达层,它虽不是一个物理量,但是可以定量地加以描述,它是具体物理信号的进一步数学抽象
表示在已知X后,对于输出Y尚存的平均不确定性;