主题：【原创】信息及其度量 -- wooxiao

通信的目的是什么呢？沟通感情，活跃气氛？其实，它是在于传递信息。那么，什么是信息呢？是不是交流中所有的消息都是信息？我们经常可以看到很多政客在台上发言，洋洋洒洒，一说几小时。可回头一琢磨，好像什么也没说，也就是信息量基本为零。所以信息可以被理解为消息中包含的有意义的内容，而不是所有内容。不同形式的消息，可以包含相同的信息。比方说，分别用语音和文字发送的天气预报，所含信息内容是相同的。如同运输货物可以采用“货运量”来衡量一样，传输信息的多少也是可以用“信息量”来衡量的。

我们知道，消息是多种多样的。因此衡量消息中所含的信息量的方法，必须可以忽略消息的种类，衡量任何消息的信息量。而且，消息中所含信息量的多少也应该同消息的重要程度无关。这样，要求有了，我们该怎么办呢？

首先，让我们先看看消息的传递有什么特性。我们都知道，在一切有意义的通信中，虽然消息的传递意味着信息的传递，但是，对于接收者来说，某些消息要比另外一些消息含有更多的信息。比如说，有人告诉你两件事：1）阿woo中到1000万元的乐透大奖了（哈哈，真是今夜做梦也会笑）；2）一直在改又要改版了。 这样后一消息包含的信息显然要比前者少很多。因为在接收者看来，后一件事很可能发生，不足为奇，但前一件事却极难发生（谁说的，昨晚就发生了，虽然是在我的梦里），听后让人大吃一惊。这样我们看出消息确实有量值的意义。而且，我们可以看出，对于接收者而言，事件越不可能，越是让人感到意外和惊奇，信息量就越大。所以现在很多人在写文章时，首先要选用一个耸人听闻的题目，先吸引大家的眼球。

这个特性可以同什么联系起来呢？对，就是概率。概率论告诉我们，事件的不确定程度，可以用其出现的概率来描述，也就是说，事件出现的可能性越小，则概率越小；反之，则概率就越大。这样，我们得出一个结论，消息中的信息量与消息发生的概率紧密相关，消息中所含的信息量I是出现该消息的概率P(x)的函数。消息出现的概率越小，则消息中包含的信息量就越大。如果事件是必然的（概率为1），那么它传递的信息量就应该为零。如果事件是不可能的（概率为0），那么它有无穷的信息量。而且当我们得到一个不是由一个事件构成而是由若干个独立事件构成的消息，那么这时我们得到的总的信息量，就是若干个独立事件的信息的总和。

这样，我们可以得到I与P(x)间的关系式：I = - log a P(x)

信息量的单位的确定取决于上式中对数底a的确定。如果取对数的底a=2，则信息量的单位为比特(bit); 如果取e为对数的底，则信息量的单位为奈特(nit)；若取10为底，则为哈莱特。

• 神游，不知道你有没有这种感觉？