信息论与编码第二版曹雪虹最全版本答案资料下载.pdf
- 文档编号:5974288
- 上传时间:2023-05-05
- 格式:PDF
- 页数:41
- 大小:2.22MB
信息论与编码第二版曹雪虹最全版本答案资料下载.pdf
《信息论与编码第二版曹雪虹最全版本答案资料下载.pdf》由会员分享,可在线阅读,更多相关《信息论与编码第二版曹雪虹最全版本答案资料下载.pdf(41页珍藏版)》请在冰点文库上搜索。
000110110.80.20.50.50.50.50.20.8设各状态00,01,10,11的稳态分布概率为W1,W2,W3,W4有411iiWPWW得13113224324412340.80.50.20.50.50.20.50.81WWWWWWWWWWWWWWWW计算得到12345141717514WWWW2.3同时掷出两个正常的骰子,也就是各面呈现的概率都为1/6,求:
(1)“3和5同时出现”这事件的自信息;
(2)“两个1同时出现”这事件的自信息;
(3)两个点数的各种组合(无序)对的熵和平均信息量;
(4)两个点数之和(即2,3,12构成的子集)的熵;
(5)两个点数中至少有一个是1的自信息量。
(1)bitxpxIxpiii170.4181log)(log)(18161616161)
(2)bitxpxIxpiii170.5361log)(log)(3616161)(3)两个点数的排列如下:
111213141516212223242526313233343536414243444546515253545556616263646566共有21种组合:
其中11,22,33,44,55,66的概率是3616161其他15个组合的概率是18161612symbolbitxpxpXHiii/337.4181log18115361log3616)(log)()(4)参考上面的两个点数的排列,可以得出两个点数求和的概率分布如下:
symbolbitxpxpXHXPXiii/274.361log61365log365291log912121log1212181log1812361log3612)(log)()(36112181111211091936586173656915121418133612)(5)bitxpxIxpiii710.13611log)(log)(3611116161)(2-42.5居住某地区的女孩子有25%是大学生,在女大学生中有75%是身高160厘米以上的,而女孩子中身高160厘米以上的占总数的一半。
假如我们得知“身高160厘米以上的某女孩是大学生”的消息,问获得多少信息量?
设随机变量X代表女孩子学历Xx1(是大学生)x2(不是大学生)P(X)0.250.75设随机变量Y代表女孩子身高Yy1(身高160cm)y2(身高160cm)P(Y)0.50.5已知:
在女大学生中有75%是身高160厘米以上的即:
bitxyp75.0)/(11求:
身高160厘米以上的某女孩是大学生的信息量即:
bitypxypxpyxpyxI415.15.075.025.0log)()/()(log)/(log)/(111111112.6掷两颗骰子,当其向上的面的小圆点之和是3时,该消息包含的信息量是多少?
当小圆点之和是7时,该消息所包含的信息量又是多少?
1)因圆点之和为3的概率1()(1,2)(2,1)18pxpp该消息自信息量()log()log184.170Ixpxbit2)因圆点之和为7的概率1()(1,6)(6,1)(2,5)(5,2)(3,4)(4,3)6pxpppppp该消息自信息量()log()log62.585Ixpxbit2.7设有一离散无记忆信源,其概率空间为123401233/81/41/41/8XxxxxP
(1)求每个符号的自信息量
(2)信源发出一消息符号序列为202120130213001203210110321010021032011223210,求该序列的自信息量和平均每个符号携带的信息量解:
122118()loglog1.415()3Ixbitpx同理可以求得233()2,()2,()3IxbitIxbitIxbit因为信源无记忆,所以此消息序列的信息量就等于该序列中各个符号的信息量之和就有:
123414()13()12()6()87.81IIxIxIxIxbit平均每个符号携带的信息量为87.811.9545bit/符号2.8试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍?
四进制脉冲可以表示4个不同的消息,例如:
0,1,2,3八进制脉冲可以表示8个不同的消息,例如:
0,1,2,3,4,5,6,7二进制脉冲可以表示2个不同的消息,例如:
0,1假设每个消息的发出都是等概率的,则:
四进制脉冲的平均信息量symbolbitnXH/24loglog)(1八进制脉冲的平均信息量symbolbitnXH/38loglog)(2二进制脉冲的平均信息量symbolbitnXH/12loglog)(0所以:
四进制、八进制脉冲所含信息量分别是二进制脉冲信息量的2倍和3倍。
2-9“”用三个脉冲“”用一个脉冲
(1)I()=Log4()2I()Log430.415
(2)H=14Log4()34Log430.8112-10
(2)P(黑/黑)=P(白/黑)=H(Y/黑)=(3)P(黑/白)=P(白/白)=H(Y/白)=(4)P(黑)=P(白)=H(Y)=2.11有一个可以旋转的圆盘,盘面上被均匀的分成38份,用1,38的数字标示,其中有两份涂绿色,18份涂红色,18份涂黑色,圆盘停转后,盘面上的指针指向某一数字和颜色。
(1)如果仅对颜色感兴趣,则计算平均不确定度
(2)如果仅对颜色和数字感兴趣,则计算平均不确定度(3)如果颜色已知时,则计算条件熵解:
令X表示指针指向某一数字,则X=1,2,.,38Y表示指针指向某一种颜色,则Y=l绿色,红色,黑色Y是X的函数,由题意可知()()ijipxypx
(1)3112381838()()loglog2log1.24()3823818jjjHYpypybit/符号
(2)2(,)()log385.25HXYHXbit/符号(3)(|)(,)()()()5.251.244.01HXYHXYHYHXHYbit/符号2.12两个实验X和Y,X=x1x2x3,Y=y1y2y3,l联合概率,ijijrxyr为1112132122233132337/241/2401/241/41/2401/247/24rrrrrrrrr
(1)如果有人告诉你X和Y的实验结果,你得到的平均信息量是多少?
(2)如果有人告诉你Y的实验结果,你得到的平均信息量是多少?
(3)在已知Y实验结果的情况下,告诉你X的实验结果,你得到的平均信息量是多少?
联合概率(,)ijpxy为22221(,)(,)log(,)724112log4log24log4247244ijijijHXYpxypxy=2.3bit/符号X概率分布21()3log31.583HYbit/符号(|)(,)()2.31.58HXYHXYHYY概率分布是=0.72bit/符号Yy1y2y3P8/248/248/242.13有两个二元随机变量X和Y,它们的联合概率为YXx1=0x2=1y1=01/83/8y2=13/81/8YXy1y2y3x17/241/240x21/241/41/24x301/247/24Xx1x2x3P8/248/248/24并定义另一随机变量Z=XY(一般乘积),试计算:
(1)H(X),H(Y),H(Z),H(XZ),H(YZ)和H(XYZ);
(2)H(X/Y),H(Y/X),H(X/Z),H(Z/X),H(Y/Z),H(Z/Y),H(X/YZ),H(Y/XZ)和H(Z/XY);
(3)I(X;
Y),I(X;
Z),I(Y;
Z),I(X;
Y/Z),I(Y;
Z/X)和I(X;
Z/Y)。
(1)symbolbitypypYHyxpyxpypyxpyxpypsymbolbitxpxpXHyxpyxpxpyxpyxpxpjjjiii/1)(log)()(218183)()()(218381)()()(/1)(log)()(218183)()()(218381)()()(22212121112212221111Z=XY的概率分布如下:
symbolbitzpZHzzZPZkk/544.081log8187log87)()(818710)(221symbolbitzxpzxpXZHzpzxpzxpzxpzpzxpzpzxpzxpzxpzpxpzxpzxpzxpzxpxpikkiki/406.181log8183log8321log21)(log)()(81)()()()()(835.087)()()()()()(5.0)()(0)()()()(2222221211112121111112121111symbolbitzypzypYZHzpzypzypzypzpzypzpzypzypzypzpypzypzypzypzypypjkkjkj/406.181log8183log8321log21)(log)()(81)()()()()(835.087)()()()()()(5.0)()(0)()()()(2222221211112121111112121111symbolbitzyxpzyxpXYZHyxpzyxpyxpzyxpzyxpzyxpyxpzyxpyxpzyxpzyxpzyxpzxpzyxpzxpzyxpzyxpyxpzyxpyxpzyxpzyxpzyxpzyxpzyxpijkkjikji/811.181log8183log8383log8381log81)(log)()(81)()()()()(0)(83)()()()()(838121)()()()()()(8/1)()()()()(0)(0)(0)(22222222222122122121121221211211111121111111211111111211111212221211
(2)symbolbitXYHXYZHXYZHsymbolbitXZHXYZHXZYHsymbolbitYZHXYZHYZXHsymbolbitYHYZHYZHsymbolbitZHYZHZYHsymbolbitXHXZHXZHsymbolbitZHXZHZXHsymbolbitXHXYHXYHsymbolbitYHXYHYXHsymbolbityxpyxpXYHijjiji/0811.1811.1)()()/(/405.0406.1811.1)()()/(/405.0406.1811.1)()()/(/406.01406.1)()()/(/862.0544.0406.1)()()/(/406.01406.1)()()/(/862.0544.0406.1)()()/(/811.01811.1)()()/(/811.01811.1)()()/(/811.181log8183log8383log8381log81)(log)()(2(3)symbolbitYZXHYXHYZXIsymbolbitXZYHXYHXZYIsymbolbitYZXHZXHZYXIsymbolbitZYHYHZYIsymbolbitZXHXHZXIsymbolbitYXHXHYXI/406.0405.0811.0)/()/()/;
(/457.0405.0862.0)/()/()/;
(/138.0862.01)/()();
(/189.0811.01)/()();
(2-14
(1)P(ij)=P(i/j)=
(2)方法1:
=方法2:
2-15P(j/i)=2.16黑白传真机的消息元只有黑色和白色两种,即X=黑,白,一般气象图上,黑色的出现概率p(黑)0.3,白色出现的概率p(白)0.7。
(1)假设黑白消息视为前后无关,求信源熵H(X),并画出该信源的香农线图
(2)实际上各个元素之间是有关联的,其转移概率为:
P(白|白)0.9143,P(黑|白)0.0857,P(白|黑)0.2,P(黑|黑)0.8,求这个一阶马尔可夫信源的信源熵,并画出该信源的香农线图。
(3)比较两种信源熵的大小,并说明原因。
(1)221010()0.3log0.7log0.881337HXbit/符号P(黑|白)=P(黑)P(白|白)P(白)黑白0.70.30.70.3P(黑|黑)P(黑)P(白|黑)P(白)
(2)根据题意,此一阶马尔可夫链是平稳的(P(白)0.7不随时间变化,P(黑)0.3不随时间变化)21222221()(|)(,)log(,)1110.91430.7log0.08570.7log0.20.3log0.91430.08570.210.80.3log0.8ijijijHXHXXpxypxy0.512bit/符号2.17每帧电视图像可以认为是由3105个像素组成的,所有像素均是独立变化,且每像素又取128个不同的亮度电平,并设亮度电平是等概出现,问每帧图像含有多少信息量?
若有一个广播员,在约10000个汉字中选出1000个汉字来口述此电视图像,试问广播员描述此图像所广播的信息量是多少(假设汉字字汇是等概率分布,并彼此无依赖)?
若要恰当的描述此图像,广播员在口述中至少需要多少汉字?
1)symbolbitXNHXHsymbolbitnXHN/101.27103)()(/7128loglog)(65222)symbolbitXNHXHsymbolbitnXHN/13288288.131000)()(/288.1310000loglog)(223)158037288.13101.2)()(6XHXHNN2.20给定语音信号样值X的概率密度为1()2xpxe,x,求Hc(X),并证明它小于同样方差的正态变量的连续熵。
解00201()()log()()log21()log()()log211loglog()22111loglog()log()22211log2log22xcxxxxxxxxHXpxpxdxpxedxpxdxpxxedxeexdxeexdxexdxexe01loglog
(1)212logloglog2xxdxexeee22()0,()EXDX,22121422()log2logloglog()22eeeeHXeHX2.24连续随机变量X和Y的联合概率密度为:
其他01),(2222ryxryxp,求H(X),H(Y),H(XYZ)和I(X;
Y)。
(提示:
20222log2sinlogxdx)解:
202020220220202222022022222222222222222222222222222sinlog22cos1422cos1log4sinlogsin4logsin4sinlogsin4sinlogsin4)cos(sinlogsin4coslog4log2log)(/log21loglog211log2loglog)(2loglog)(2log)(2log)()(log)()()(21)()(22222222ddrdrddrdrrrrdrrrrxdxxrxrrdxxrrxrdxxrxpsymbolbitererrdxxrxprdxxrxpdxrxpdxrxrxpdxxpxpXHrxrrxrdyrdyxypxprrrrrrrrrrrrrrrcxrxrxrxr令其中:
eeededededededdderdrddrrdddrdr220222022022022022202202020202202022020202020log212sinlog21log212coslog1log122cos1log2coslog2sinlogcoscossin21sinlog2sinsinlog2sin12sinsinlog1sinlog2cos2log211logsinlog2cos21logsinlog2cos2)2log2(22sinlog1logsinlog2cos2sinlog22coslog2log2其中:
bit/symbolererXYHYHXHYXIbit/symbolrdxdyxyprdxdyrxypdxdyxypxypXYHbit/symbolerXHYHxpypryrryrdxrdxxypypccccRRRcCCyryryryrlogloglogloglog2)()()();
(log)(log1log)()(log)()(log21log)()()()()(21)()(222222222222222222222222.25某一无记忆信源的符号集为0,1,已知P(0)=1/4,P
(1)=3/4。
(1)求符号的平均熵;
(2)有100个符号构成的序列,求某一特定序列(例如有m个“0”和(100-m)个“1”)的自信息量的表达式;
(3)计算
(2)中序列的熵。
(1)symbolbitxpxpXHiii/811.043log4341log41)(log)()
(2)bitmxpxIxpmiimmmi585.15.4143log)(log)(434341)(100100100100100(3)symbolbitXHXH/1.81811.0100)(100)(1002-26P(i)=P(ij)=H(IJ)=2.29有一个一阶平稳马尔可夫链1,2,rXXX,各Xr取值于集合1,2,3Aaaa,已知起始概率P(Xr)为1231/2,1/4ppp,转移概率如下图所示ji123121/22/31/401/41/332/31/30
(1)求123(,)XXX的联合熵和平均符号熵
(2)求这个链的极限平均符号熵(3)求012,HHH和它们说对应的冗余度解:
(1)12312132,112132(,)()(|)(|)()(|)(|)HXXXHXHXXHXXXHXHXXHXX1111111()logloglog1.5/224444HXbit符号X1,X2的联合概率分布为212()()jijipxpxxX2的概率分布为那么21111131131(|)log4log4log4loglog3loglog348862126212HXX=1.209bit/符号X2X3的联合概率分布为23()ijpxx12317/247/487/4825/3605/1235/365/120那么32771535535(|)log2log4log4loglog3loglog3244883627236272HXX=1.26bit/符号12()ijpxx12311/41/81/821/601/1231/61/12012314/245/245/24123(,)1.51.2091.263.969HXXXbit/符号所以平均符号熵31233.969(,)1.3233HXXXbit符号
(2)设a1,a2,a3稳定后的概率分布分别为W1,W2,W3,转移概率距阵为1112442103321033P由1iWPWW得到123132123122123311431WWWWWWWWW计算得到12347314314WWW又满足不可约性和非周期性314111321()(|)(,)2(,0)1.2572441433iiiHXWHXWHHbit/符号(3)0log31.58Hbit/符号11.5Hbit/符号21.51.2091.3552Hbit/符号001.25110.211.58111.25110.6171.5221.25110.0781.355a1a3a21/22/31/41/31/32/31/42-30
(1)求平稳概率P(j/i)=解方程组得到
(2)信源熵为:
2-31P(j/i)=解方程组得到W1=,W2=,W3=2.32一阶马尔可夫信源的状态图如图213所示,信源X的符号集为(0,1,2)。
(1)求信源平稳后的概率分布P(0),P
(1),P
(2)
(2)求此信源的熵(3)近似认为此信源为无记忆时,符号的概率分布为平稳分布。
求近似信源的熵H(X)并与H进行比较0121-pp/21-pp/2p/2p/2p/2p/21-p图2-13解:
根据香农线图,列出转移概率距阵1/2/2/21/2/2/21pppPpppppp令状态0,1,2平稳后的概率分布分别为W1,W2,W3311iiWPWW得到12311232123
(1)22
(1)221pppWWWWppWpWWWWWW计算得到131313WWW由齐次遍历可得112()(|)3(1,)
(1)loglog3221iiippHXWHXWHppppp,()log31.58/HXbit符号由最大熵定理可知()HX存在极大值或者也可以通过下面的方法得出存在极大值:
()121log
(1)
(1)loglog1222
(1)HXppppppppp112
(1)22
(1)ppp又01p所以0,2
(1)pp当p=2/3时12
(1)pp0p2/3时()log02
(1)HXppp2/3p1(;
)IXY所以第二个实验比第一个实验好P(y2|x)01012110001Y2X0101/4011/40201/2
(2)因为Y1和Y2相互独立,所以1212(|)(|)(|)pyyxpyxpyxy1y200011011p1/41/41/41/4121212111(;
)(,)(|)log4log1log12log2444IXYYHYYHYYXbit/符号=1.5bit/符号由此可见,做两个实验比单独做Y1可多得1bit的关于X的信息量,比单独做Y2多得0.5bit的关于X的信息量。
(3)12112212212122(;
|)(|)(|,)(,)()()(;
)()(;
)()(;
)(;
)IXYYHXYHXYYHXYHXHXIXYYHXIXYHXIXYYIXYYIXY=1.5-1=0.5bit/符号表示在已做Y
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 信息论 编码 第二 版曹雪虹最全 版本 答案