互信息

互信息(Mutual Information)是信息论里一种有用的信息度量，它是指两个事件集合之间的相关性。两个事件X和Y的互信息定义为：

I(X,Y) = H(X) + H(Y) - H(X,Y)

其中 H(X,Y) 是联合熵(Joint Entropy)，其定义为：

H(X,Y) = - ∑ p(x,y)logp(x,y)

x,y

互信息与多元对数似然比检验以及皮尔森χ2校验有着密切的联系。

什么是信息？

信息现代定义。[2006年,医学信息(杂志)，邓宇等].

信息是物质、能量、信息及其属性的标示。逆维纳信息定义

信息是确定性的增加。逆香农信息定义

信息是事物现象及其属性标识的集合。2002年

互信息衡量的是某个词和类别之间的统计独立关系,某个词t和某个类别Ci传统的互信息定义如下:

互信息是计算语言学模型分析的常用方法，它度量两个对象之间的相互性。在过滤问题中用于度量特征对于主题的区分度。互信息的定义与交叉嫡近似。互信息本来是信息论中的一个概念,用于表示信息之间的关系, 是两个随机变量统计相关性的测度，使用互信息理论进行特征抽取是基于如下假设:在某个特定类别出现频率高,但在其他类别出现频率比较低的词条与该类的互信息比较大。通常用互信息作为特征词和类别之问的测度，如果特征词属于该类的话，它们的互信息量最大。由于该方法不需要对特征词和类别之问关系的性质作任何假设，因此非常适合于文本分类的特征和类别的配准工作。