交互信息量

可以将信息量重复定义为：I(信息量)=不肯定程度的减小量

如果信道是无噪的，当信源发出消息 后，信宿必能准确无误地收到该消息，彻底消除对 的不确定度，所获得的信息量就是 的不确定度 ，即 本身含有的全部信息。

为什么不用信源发出多少信息量来定义呢，而用不肯定程度的减小量呢？这是因为在通讯系统中一般都是有噪声的。信源发出的信息量因为噪声而减少，并不是信宿收到的信息量，而“不肯定程度的减小量”确是信宿收到的信息量。不肯定程度减少到极端0，那么信源的消息信宿也就都收到了。

信宿在收信前后，其消息的概率分布发生了变化，即其概率空间变了。

简单通信系统模型

一般而言，信道中总是存在着噪声和干扰，信源发出消息xi，通过信道后信宿只可能收到由于干扰作用引起的某种变形的 yi。信宿收到 yi 后推测信源发出 xi 的概率，这一过程可由后验概率 P(xi | yi) 来描述。相应地，信源发出 xi 的概率 P(xi) 称为先验概率。我们定义 xi 的后验概率与先验概率比值的对数为 yi 对 xi 的互信息量，也称交互信息量（简称互信息），用 I(xi, yi) 表示，即

上式可以变换为：

上式表示互信息量等于自信息量减去条件信息量。

同样的道理，可以定义 xi 对 yi 的互信息量为