|
信息是消息中有意义、有价值的部分。 信息量是对信息的定量描述。一个接收者接收到若干个消息，每个消息会具有不同的信息量。 一、自信息 从感知角度看，信息量的大小和接收者接收到消息后的惊奇程度有关，惊奇程度大的携带的信息量就大；惊奇程度小的，携带信息量也小。从概率论角度看，消息中携带的信息量与事件发生的概率有关，事件发生的概率越小，则消息中携带的信息量就越大。即信息量与消息出现的概率成反比。  当 时， ，确定事件的信息量为0.当  时， ,如果时间是不可能的，则传递的信息量为无穷。综上所述  （1） 信息量的单位与所用对数的底有关。 （1）若取  ，信息量的单位为比特（bit或b）。（2）若取  ，信息量的单位为奈特（nat）。1奈特= 比特=1.443比特。 （3）若取  则信息量的单位为哈特莱（Hartley）。1哈特莱= 比特=3.322比特。通常广泛使用的单位为比特，此时有  （2）  称自信息。 二、离散信源的信息熵
定义：每个符号所含的平均信息量，即自信息 的统计平均值。定义平均信息量为信源中任意一个事件发生所携带信息量 的统计平均值。假设一个离散信源是一个由M个符号（事件）组成的符号集，即概率空间分布为  且有 用表示消息（每个符号）所携带的信息量。离散信源的熵：  可以证明：式（4）在 ，即每个符号等概率独立出现时，会有最大值。 （bit/符号） （4） 例题：某信息源由A、B、C、D四个符号组成，每个符号独立出现，出现的概率分别为1/4、1/4、3/16、5/16,试求该信息源中每个符号的信息量和该信源符号的平均信息量。解：符号A和符号B的信息量  符号C的信息量 符号D的信息量 平均信息量（熵） 当信源为连续信源时，平均信息量可表示为 （5） 其中 为连续信源的概率密度函数。 |
匹配滤波接收机
最佳接收准则
影响信号可靠传输的主要因素
多进制数字调制系统
各种二进制数字调制系统的比较
二进制绝对相移键控（2PSK）与相对相移键控电工学习网 ( )
GMT+8, 2021-12-6 20:45
