信息的数学表达层,它虽不是一个物理量,但是可以定量地加以描述,它是具体物理信号的进一步数学抽象
一个随机事件发生某一结果后所带来的信息量成为自信息量,定义为其发生概率对数的负值。
概率分布函数与时间起点无关,平稳信源是有记忆的,记忆的长度有限。