信息量
所谓信息量是指从N个相等可能事件中选出一个事件所需要的信息度量或含量,也就是在辩识N个事件中特定的一个事件的过程中所需要提问"是或否"的最少次数.
香农（C. E. Shannon）信息论应用概率来描述不确定性。信息是用不确定性的量度定义的.一个消息的可能性愈小,其信息愈多;而消息的可能性愈大,则其信息愈少.事件出现的概率小，不确定性越多，信息量就大，反之则少。
信息现代定义。[2006年,医学信息(杂志)，邓宇等].
信息是物质、能量、信息及其属性的标示。逆维纳信息定义
信息是确定性的增加。逆香农信息定义
信息是事物现象及其属性标识的集合。2002年
在数学上，所传输的消息是其出现概率的单调下降函数。如从64个数中选定某一个数，提问：“是否大于32?”，则不论回答是与否，都消去了半数的可能事件，如此下去，只要问6次这类问题，就可以从64个数中选定一个数。我们可以用二进制的6个位来记录这一过程，就可以得到这条信息。
信息量的计算
如何计算信息量的多少？在日常生活中，极少发生的事件一旦发生是容易引起人们关注的，而司空见惯的事不会引起注意，也就是说，极少见的事件所带来的信息量多。如果用统计学的术语来描述，就是出现概率小的事件信息量多。因此，事件出现得概率越小，信息量愈大。即信息量的多少是与事件发生频繁(即概率大小)成反比。
1.如已知事件Xi已发生，则表示Xi所含有或所提供的信息量
H(Xi) = − logaP(Xi)
例题：若估计在一次国际象棋比赛中谢军获得冠军的可能性为0.1(记为事件A)，而在另一次国际象棋比赛中她得到冠军的可能性为0.9(记为事件B)。试分别计算当你得知她获得冠军时，从这两个事件中获得的信息量各为多少？
H(A)=-log2 P(0.1)≈3.32(比特)
H(B)=-log2 P(0.9)≈0.152(比特)
2.统计信息量的计算公式为：
Xi —— 表示第i个状态(总共有n种状态)；
P(Xi)——表示第i个状态出现的概率；
H(X)——表示用以消除这个事物的不确定性所需要的信息量。
例题：向空中投掷硬币，落地后有两种可能的状态，一个是正面朝上，另一个是反面朝上，每个状态出现的概率为1/2。如投掷均匀的正六面体的骰子，则可能会出现的状态有6个，每一个状态出现的概率均为1/6。试通过计算来比较状态的不肯定性与硬币状态的不肯定性的大小。
H(硬币)
= -(2×1/2)×log2P(1/2)≈1(比特)
H(骰子)
= -(1/6)×log2P(1/6)≈2.6(比特)
由以上计算可以得出两个推论：
[推论1] 当且仅当某个P(Xi)=1，其余的都等于0时， H(X)= 0。
[推论2]当且仅当某个P(Xi)=1/n，i=1， 2，……， n时，H(X)有极大值log n。