自信息量的含义,涉及概率,求信息量

信号的信息量与什么有关?如何计算?数字信号信息量的主要使用单位是什么?

自信息量的含义,涉及概率,求信息量

文章插图
信号信息量主要和信号出现的概率有关
如果一个信号一定出现,那么概率P(X)=1,其信息量为0
如果信号的出现概率很小,那么其信息量就大
信息量的计算一般是 -log2(1/P(X)),单位为bit
自信息量公式的完整推导过程
自信息量的含义,涉及概率,求信息量

文章插图
有关于自信息量公式的唯一性验证吗?即满足这四个公理的函数只有对数函数,你那本是中科大的书叫什么名字
信息量对数形式的证明
自信息量的含义,涉及概率,求信息量

文章插图
常用对数是以10为底的,即若10x=y,则有log10y=x 。但是在信息论中,信息量的大小则是用以2为底的对数来衡量的 。
我国古代的烽火台是传递信息的工具 。烽火台燃起烟火,表示敌人来犯 。否则,表示敌军未动 。它传递的信息只有两种情况:“有”或“没有” 。这是最简单的通信情形,我们拿它作为信息量的单位,称为“1比特” 。用数学的语言来说,即只含有0(无烟)和1(有烟)两种情况的通信,其信息量定义为log22=1 。
假设烽火台上有两支烟囱,甲烟囱表示敌人情形:进犯(1),或未进犯(0) 。乙烟囱表示我方情形,需增援(1),或不需增援(0) 。这样我们就得到四种情况:
甲乙
(0,0)敌人未来,不需增援;
(0,1)敌人未来,需要增援;
(1,0)敌人进犯,不需增援;
(1,1)敌人进犯,需要增援 。这样,我们所知道的信息比以前多了,它所含的信息量应该是1og24=2(比特) 。
容易想象,三支烟囱的烽火台可传递8种情况的信息,即:(0,0,0);(0,0,1);(0,1,0);(0,1,1);(1,0,0);(1,0,1);(1,1,0);(1,1,1) 。这时的信息量自然就应该是1og28=3(比特)了 。
更复杂的情形的信息量都是从这种最简单的情形变化而来的 。正由于最简单的信息只具有两种可能,因此计算信息量时采取以2为底的对数可以获得最基础的信息量值1;而当信息以y=2x发生变化的时候,用log2y=x计算信息量就能正确反映出信息量的真实情况 。
这是详细的理解
谢谢 仅供参考
涉及概率,求信息量
自信息量的含义,涉及概率,求信息量

文章插图
通信原理的题目啊
每个字符的信息量为
log(2)?出现概率的倒数乘以字符出现次数
所以总信息量为
23*log(2)8/3+14*log(2)4+13*log(2)4+7*log(2)8=108(bit)
【自信息量的含义,涉及概率,求信息量】