主题：【原创】信息及其度量 -- wooxiao
家园 【原创】信息及其度量 通信的目的是什么呢？沟通感情，活跃气氛？其实，它是在于传递信息。那么，什么是信息呢？是不是交流中所有的消息都是信息？我们经常可以看到很多政客在台上发言，洋洋洒洒，一说几小时。可回头一琢磨，好像什么也没说，也就是信息量基本为零。所以信息可以被理解为消息中包含的有意义的内容，而不是所有内容。不同形式的消息，可以包含相同的信息。比方说，分别用语音和文字发送的天气预报，所含信息内容是相同的。如同运输货物可以采用“货运量”来衡量一样，传输信息的多少也是可以用“信息量”来衡量的。
我们知道，消息是多种多样的。因此衡量消息中所含的信息量的方法，必须可以忽略消息的种类，衡量任何消息的信息量。而且，消息中所含信息量的多少也应该同消息的重要程度无关。这样，要求有了，我们该怎么办呢？
首先，让我们先看看消息的传递有什么特性。我们都知道，在一切有意义的通信中，虽然消息的传递意味着信息的传递，但是，对于接收者来说，某些消息要比另外一些消息含有更多的信息。比如说，有人告诉你两件事：1）阿woo中到1000万元的乐透大奖了（哈哈，真是今夜做梦也会笑）；2）一直在改又要改版了。 这样后一消息包含的信息显然要比前者少很多。因为在接收者看来，后一件事很可能发生，不足为奇，但前一件事却极难发生（谁说的，昨晚就发生了，虽然是在我的梦里），听后让人大吃一惊。这样我们看出消息确实有量值的意义。而且，我们可以看出，对于接收者而言，事件越不可能，越是让人感到意外和惊奇，信息量就越大。所以现在很多人在写文章时，首先要选用一个耸人听闻的题目，先吸引大家的眼球。
这个特性可以同什么联系起来呢？对，就是概率。概率论告诉我们，事件的不确定程度，可以用其出现的概率来描述，也就是说，事件出现的可能性越小，则概率越小；反之，则概率就越大。这样，我们得出一个结论，消息中的信息量与消息发生的概率紧密相关，消息中所含的信息量I是出现该消息的概率P(x)的函数。消息出现的概率越小，则消息中包含的信息量就越大。如果事件是必然的（概率为1），那么它传递的信息量就应该为零。如果事件是不可能的（概率为0），那么它有无穷的信息量。而且当我们得到一个不是由一个事件构成而是由若干个独立事件构成的消息，那么这时我们得到的总的信息量，就是若干个独立事件的信息的总和。
这样，我们可以得到I与P(x)间的关系式：I = - log a P(x)
信息量的单位的确定取决于上式中对数底a的确定。如果取对数的底a=2，则信息量的单位为比特(bit); 如果取e为对数的底，则信息量的单位为奈特(nit)；若取10为底，则为哈莱特。
本帖一共被 1 帖 引用 (帖内工具实现)家园 可以与数字电视的信号传输作类比 数字电视的信号传输的是两幅图像之间的差别。连续运动的场景，两幅图像之间的差别就是几条线，可以达到很高的压缩比。场景变换时，两幅图像之间的差别很大，压缩比不会很高，需要传输的数据量就很大。
高概率事件，类似于数字电视的信号传输中连续运动的场景，人们已经对此类事件比较熟了，再发生时，人们得到的新的信息只是现在发生的事件与以前类似事件不同的那一部分，所以信息量就小。
至于信息论中“信息量”的公式，定量研究，定性看待。
家园 送花之后请教问题 按照您的描述，信息量和概率成反比，小概率事件包含的信息量大。而且是从信息接收者的角度来看。
但是某的疑问是：
1）阿woo中到1000万元的乐透大奖了这虽然是小概率事件，可是和我有什么关系？又不分一多半给我，不关心。信息量对我来说很小。
2）一直在改又要改版了这虽然基本上是个必然的事，但是某天天要下西西河泡水，虽然是小的改动也可能对我影响很大，不能不关心。所以这个信息量对我来说很大。
这又怎么解释？
家园 最简单的情况 一个数，如果事先只有两种可能取值，0, 1, 那么传送任何一个值得到的信息量是 -log(2) 1/2 = 1 bit, 在计算机中只需要一位来表示和传送。
如果事先知道这个数可能的取值有8个(比如 0-7八个整数)，每个取值的可能性均匀分布，那么传送某一个值的信息量是 -log(2) 1/8 = 3， 在计算机中需要三位来传送 (000-111 分别表示 0-7), 每位传送的信息量是 - log 1/2 =1 bit.
那么如果我们事先知道这个数值只有可能有一个值(概率为1),那么你得到这个值所得到的信息,自然是 0.
我觉得知道这个就可以了， 说明俺懂信息论了，
正如知道 e=mc2 俺就也就可以自称了解相对论一样了
家园 有趣的话题，不过对概率来度量信息量还是有些疑问 感觉上事件概率和信息的传播范围关系更大一些。比如事件发生概率低的，别人关注的可能性就大，被散播的可能性也大一些。
也就是说，这个信息量实际上是被接收的信息量。
还有后续么？