信息冗余
定量定义信源的信息率的普遍形式为（1）。
根据前面的消息可以得到当前消息的期望的或者平均条件熵。在信息论中经常提及“信息率”或者“信息熵”，当信源是普通的英文文本时这是正确的。由于无记忆信源的消息之间没有相互依赖性，所以无记忆信源的信息率为H(M)。
信源的绝对信息率为
R=log I M I，
即是消息空间基数的对数值。这个公式也称作Hartley函数。这是传送用这个字母表表示的信息的最大信息率。其中对数要根据所用的测量单位选择合适的底数。当且仅当信源是无记忆的且均匀分布的时候，绝对信息率等于信息率。绝对信息冗余绝对信息冗余定义为
D=R-r，
即信息率与绝对信息率之间的差。相对信息冗余D/R称为相对信息冗余，它表示了最大的数据压缩率，这个压缩率用文件大小减小比例所表示。当用原始文件与压缩后的文件表示的时候，R:r 表示能够得到的最大压缩率。与相对信息冗余互补的是效率r/R。均匀分布的无记忆信源的冗余为 0，效率为 100%，因此无法压缩。
其它的冗余概念两个变量之间冗余的度量是互信息或者正规化变量。多个变量之间冗余的度量是总相关（total correlation）。
参见信源编码
信源编码定理
数据压缩