信息论与编码陈运主编答案完整版.docx
- 文档编号:7438590
- 上传时间:2023-05-11
- 格式:DOCX
- 页数:61
- 大小:1.77MB
信息论与编码陈运主编答案完整版.docx
《信息论与编码陈运主编答案完整版.docx》由会员分享,可在线阅读,更多相关《信息论与编码陈运主编答案完整版.docx(61页珍藏版)》请在冰点文库上搜索。
信息论与编码课后习题答案详解
2.1试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍?
解:
四进制脉冲可以表示4个不同的消息,例如:
{0,1,2,3}
八进制脉冲可以表示8个不同的消息,例如:
{0,1,2,3,4,5,6,7}二进制脉冲可以表示2个不同的消息,例如:
{0,1}假设每个消息的发出都是等概率的,则:
四进制脉冲的平均信息量HX
(1)=logn=log4=2bitsymbol/ 八进制脉冲的平均信息量HX
(2)=logn=log8=3bitsymbol/
二进制脉冲的平均信息量HX(0)=logn=log2=1bitsymbol/
所以:
四进制、八进制脉冲所含信息量分别是二进制脉冲信息量的2倍和3倍。
2.2居住某地区的女孩子有25%是大学生,在女大学生中有75%是身高160厘米以上的,而女孩子中身高160厘米以上的占总数的一半。
假如我们得知“身高160厘米以上的某女孩是大学生”的消息,问获得多少信息量?
解:
设随机变量X代表女孩子学历
Xx1(是大学生) x2(不是大学生)
P(X) 0.25 0.75
设随机变量Y代表女孩子身高
Yy1(身高>160cm) y2(身高<160cm)
P(Y) 0.5 0.5
已知:
在女大学生中有75%是身高160厘米以上的即:
py(1/x1)=0.75bit
求:
身高160厘米以上的某女孩是大学生的信息量
pxpy
(1)(1/x1)log0.25×0.75=1.415bit即:
Ix(1/y1)=−logpx(1/y1)=−log=−
py
(1) 0.5
2.3一副充分洗乱了的牌(含52张牌),试问
(1)任一特定排列所给出的信息量是多少?
(2)若从中抽取13张牌,所给出的点数都不相同能得到多少信息量?
解:
(1)52张牌共有52!
种排列方式,假设每种排列方式出现是等概率的则所给出的信息量是:
px(i)=
Ix(i)=−logpx(i)=log52!
=225.581bit
(2)52张牌共有4种花色、13种点数,抽取13张点数不同的牌的概率如下:
413px(i)=C5213
413
Ix(i)=−logpx(i)=−logC5213=13.208bit
2.4设离散无记忆信源⎢⎡⎣PX(X)⎥⎦⎤=⎨⎩⎧x31/=80
·13·
x2=1x3=2x4=3⎫⎬,其发出的信息为1/41/41/8⎭
(202120130213001203210110321010021032011223210),求
(1)此消息的自信息量是多少?
(2)此消息中平均每符号携带的信息量是多少?
解:
(1)此消息总共有14个0、13个1、12个2、6个3,因此此消息发出的概率是:
p=⎛⎜3⎞⎟14×⎛⎜1⎞⎟25×⎛⎜1⎞⎟6
⎝8⎠ ⎝4⎠ ⎝8⎠
此消息的信息量是:
I=−logp=87.811bit
(2)此消息中平均每符号携带的信息量是:
In/=87.811/45=1.951bit
2.5从大量统计资料知道,男性中红绿色盲的发病率为7%,女性发病率为0.5%,如果你问一位男士:
“你是否是色盲?
”他的回答可能是“是”,可能是“否”,问这两个回答中各含多少信息量,平均每个回答中含有多少信息量?
如果问一位女士,则答案中含有的平均自信息量是多少?
解:
男士:
px(Y)=7%
Ix(Y)=−logpx(Y)=−log0.07=3.837bit
px(N)=93%
Ix(N)=−logpx(N)=−log0.93=0.105bit
HX( ) px( )logpx( ) (0.07log0.07 0.93log0.93) 0.366bitsymbol/
i
女士:
HX( ) px( )logpx( ) (0.005log0.005 0.995log0.995) 0.045bitsymbol/
i
⎡X⎤⎧x2.6设信源=1
x2 x3
x4 x5 x6⎫,求这个信源的熵,并解释为什么
⎢PX( )⎥⎦ ⎨⎩0.2 0.190.18 0.170.16 0.17⎬⎭
⎣
H(X)>log6不满足信源熵的极值性。
解:
HX px px
i
=−(0.2log0.2+0.19log0.19+0.18log0.18+0.17log0.17+0.16log0.16+0.17log0.17)=2.657bitsymbol/
HX( )>log62=2.585
不满足极值性的原因是。
i
2.7证明:
H(X3/X1X2)≤H(X3/X1),并说明当X1,X2,X3是马氏链时等式成立。
证明:
HX( 3/XX1 2)−HX( 3/X1)
=−∑∑∑pxxx(i1i2 i3)logpx(i3/xxi1i2)+∑∑pxx(i1i3)logpx(i3/xi1)
i1 i2 i3 i1 i3
=−∑∑∑pxxx(i1i2 i3)logpx(i3/xxi1i2)+∑∑∑pxxx(i1i2 i3)logpx(i3/xi1)
i1 i2 i3 i1 i2 i3px(i3/xi1)
=∑∑∑i1 i2 i3pxxx(i1i2 i3)logpx(i3/xxi1i2)
⎛ px(i3/xi1) 1⎞⎟⎟log2e
≤∑∑∑i1 i2 i3pxxx(i1i2 i3)⎜⎜⎝px(i3/xxi1i2)−⎠
=⎜⎛∑∑∑pxx(i1i2)(pxi3/xi1)−∑∑∑pxxx(i1i2 i3)⎞⎟log2e
⎝i1 i2 i3 i1 i2 i3 ⎠
⎛ ⎡ ⎤ ⎞
=⎜⎜∑∑pxx(i1i2)⎢∑px(i3/xi1)⎥−1⎟⎟log2e
⎝i1 i2 ⎣i3 ⎦ ⎠
=0
∴HX(3/XX12)≤HX(3/X1)
px(i3/xi1) 1 0时等式等等当 −=px(i3/xxi12i)
⇒px(i3/xi1)=px(i3/xxi12i)
⇒pxx(i12i)(pxi3/xi1)=px(i3/xxi12i)(pxxi12i)
⇒px(i1)(pxi2/xi1)(pxi3/xi1)=pxxx(i123i i)⇒px(i2/xi1)(pxi3/xi1)=pxx(i23i/xi1)
∴等式等等的等等是X1,X2,X3是马氏链_
2.8证明:
H(X1X2。
。
。
Xn)≤H(X1)+H(X2)+…+H(Xn)。
证明:
HXX( 1 2...Xn)=HX( 1)+HX( 2/X1)+HX( 3/XX1 2)+...+HX( n/XX1 2...Xn−1)
IX( 2;X1)≥0⇒HX( 2)≥HX( 2/X1)IX( 3;XX1 2)≥0⇒HX( 3)≥HX( 3/XX1 2)
...
IX(N;XX12...Xn−1)≥0⇒HX(N)≥HX(N/XX12...Xn−1)
∴HXX(12...Xn)≤HX
(1)+HX
(2)+HX(3)++...HX(n)
2.9设有一个信源,它产生0,1序列的信息。
它在任意时间而且不论以前发生过什么符号,均按P(0)=0.4,P
(1)=0.6的概率发出符号。
(1)试问这个信源是否是平稳的?
(2)试计算H(X2),H(X3/X1X2)及H∞;
(3)试计算H(X4)并写出X4信源中可能有的所有符号。
解:
(1)
这个信源是平稳无记忆信源。
因为有这些词语:
“它在任意时间....而且不论以前发生过什么符号...........……”
(2)
HX( 2)=2HX( )=−2×(0.4log0.4+0.6log0.6)=1.942bitsymbol/
HX( 3/XX1 2)=HX( 3)=−∑px(i)logpx(i)=−(0.4log0.4+0.6log0.6)=0.971bitsymbol/
i
H∞=limHX( N/XX1 2...XN−1)=HX( N)=0.971bitsymbol/
N−>∞
(3)
HX( 4)=4HX( )=−4×(0.4log0.4+0.6log0.6)=3.884bitsymbol/
X4的所有符号:
0000 0001 0010
0011
0100 0101 0110
0111
1000 1001 1010
1011
1100 1101 1110
1111
2.10一阶马尔可夫信源的状态图如下图所示。
信源X的符号集为{0,1,2}。
(1)求平稳后信源的概率分布;
(2)求信源的熵H∞。
解:
(1)
⎧pe
(1)=pepe
(1)(1/e1)+pe
(2)(pe1/e2)
⎪
⎨pe
(2)=pe
(2)(pe2/e2)+pe(3)(pe2/e3)
⎪⎩pe(3)=pe(3)(pe3/e3)+pepe
(1)(3/e1)
⎧pe
(1)=ppe⋅
(1)+ppe⋅
(2)
⎪⎪
⎨pe
(2)=ppe⋅
(2)+ppe⋅ (3)
⎪⎪⎩pe(3)=ppe⋅ (3)+ppe⋅
(1)
⎧pe
(1)=pe
(2)=pe(3)
⎨
⎩pe
(1)+pe
(2)+pe(3)=1
⎧pe
(1)=1/3
⎪
⎨pe
(2)=1/3⎪⎩pe(3)=1/3
⎧px
(1)=pe
(1)(px1/e1)+pe
(2)(px1/e2)=ppe⋅
(1)+ppe⋅
(2)=(p+p)/3=1/3
⎪⎪
⎨px
(2)=pe
(2)(px2/e2)+pe(3)(px2/e3)=ppe⋅
(2)+ppe⋅ (3)=(p+p)/3=1/3
⎪⎪⎩px(3)=pe(3)(px3/e3)+pepx
(1)(3/e1)=ppe⋅ (3)+ppe⋅
(1)=(p+p)/3=1/3
⎡X ⎤ ⎧0 1 2⎫
⎢PX( )⎥⎦=⎨⎩1/31/31/3⎬⎭
⎣
(2)
H pepe()( /e)logpe(j/ei)i j
=−⎡⎢13pe(1/e1)logpe(1/e1)+13pe(2/e1)logpe(2/e1)+13pe(3/e1)logpe(3/e1)⎣
1 1 1 ⎤
+3pe( /e)logpe(1/e3)+3pe(2/e3)logpe(2/e3)+3pe(3/e3)logpe(3/e3)⎦⎥
p
p
p
p
p
p
log
1
log
1
log
1
log
1
log
1
log
1
3
1
⎢
⎡
⋅
⋅
⋅
⋅
⋅
⋅
⋅
⋅
⋅
⋅
+
+
+
+
=−
+
⋅
3 3p p 3p p 3 3p p 3 ⎤⎥⎦
⎣
=−(p⋅logp+p⋅logpbitsymbol) /
2.11黑白气象传真图的消息只有黑色和白色两种,即信源X={黑,白}。
设黑色出现的概率为
P(黑)=0.3,白色出现的概率为P(白)=0.7。
(1)假设图上黑白消息出现前后没有关联,求熵H(X);
(2)假设消息前后有关联,其依赖关系为P(白/白)=0.9,P(黑/白)=0.1,P(白/黑)=0.2,
P(黑/黑)=0.8,求此一阶马尔可夫信源的熵H2(X);
(3)分别求上述两种信源的剩余度,比较H(X)和H2(X)的大小,并说明其物理含义。
解:
(1)
HX( )=−∑px(i)logpx(i)=−(0.3log0.3+0.7log0.7)=0.881bitsymbol/
i
(2)
⎧pe
(1)=pepe
(1)(1/e1)+pe
(2)(pe1/e2)
⎨
⎩pe
(2)=pe
(2)(pe2/e2)+pepe
(1)(2/e1)
⎧pe
(1)=0.8(pe1)+0.1(pe2)
⎨
⎩pe
(2)=0.9(pe2)+0.2(pe1)
⎧pe
(2)=2(pe1)
⎨
⎩pe
(1)+pe
(2)=1⎧pe
(1)=1/3
⎨
⎩pe
(2)=2/3
H∞=−∑∑pepe(i)(j/ei)logpe(j/ei)
i j
=−⎛⎜1×0.8log0.8+1×0.2log0.2+2×0.1log0.1+2×0.9log0.9⎞⎟
⎝3 3 3 3 ⎠
0.553= bitsymbol/
(3)
η1=H0−H∞=log2−0.881=11.9%
H0 log2
44.7%
H(X)>H2(X)
表示的物理含义是:
无记忆信源的不确定度大与有记忆信源的不确定度,有记忆信源的结构化信息较多,能够进行较大程度的压缩。
2.12同时掷出两个正常的骰子,也就是各面呈现的概率都为1/6,求:
(1)“3和5同时出现”这事件的自信息;
(2)“两个1同时出现”这事件的自信息;
(3)两个点数的各种组合(无序)对的熵和平均信息量;(4)两个点数之和(即2,3,…,12构成的子集)的熵;(5)两个点数中至少有一个是1的自信息量。
解:
(1)
px(i)= × + × =
Ix(i)=−logpx(i)=−log=4.170bit
(2)
px(i)= × =
Ix(i)=−logpx(i)=−log=5.170bit
(3)
两个点数的排列如下:
11 12 13 14
15
16
21 22 23 24 25 26
31 32 33 34 35 36
41 42 43 44 45 46
51 52 53 54 55 56
61 62 63 64 65 66
共有21种组合:
其中11,22,33,44,55,66的概率是
其他15个组合的概率是
HX( )=−∑px(i)logpx(i)=−⎛⎜6×361log361+15×181log181⎞⎟⎠=4.337bitsymbol/ i ⎝
(4)
参考上面的两个点数的排列,可以得出两个点数求和的概率分布如下:
⎡⎢PX(X)⎤⎦⎥=⎧⎪⎪⎨⎩3612 1813 1214 195 3656 176 3685 91910121 18111 12361⎫⎪⎪⎭⎬⎣
HX( )=−∑ipx(i)logpx(i)
=−⎛⎜2×1log1+2×1log1+2×1log1+2×1log1+2×5log5+1log1⎞⎟
⎝ 36 36 18 18 12 12 9 9 36 36 6 6⎠
3.274= bitsymbol/
(5)
px(i)= × ×11=
Ix(i)=−logpx(i)=−log=1.710bit
2.13某一无记忆信源的符号集为{0,1},已知P(0)=1/4,P
(1)=3/4。
(1)求符号的平均熵;
(2)有100个符号构成的序列,求某一特定序列(例如有m个“0”和(100-m)个“1”)的自信息量的表达式;
(3)计算
(2)中序列的熵。
解:
(1)
HX( )=−∑px(i)logpx(i)=−⎛⎜14log14+43log34⎟⎞⎠=0.811bitsymbol/ i ⎝
(2)
px(i)=⎛⎜14⎞⎟⎠m×⎛⎜⎝34⎟⎠⎞100−m=34100100−m
⎝
3100−m
Ix(i)=−logpx(i)=−log4100 =41.5+1.585mbit
(3)
HX(100)=100HX( )=100×0.811=81.1bitsymbol/
2.14对某城市进行交通忙闲的调查,并把天气分成晴雨两种状态,气温分成冷暖两个状态,调查结果得联合出现的相对频度如下:
若把这些频度看作概率测度,求:
(1)忙闲的无条件熵;
(2)天气状态和气温状态已知时忙闲的条件熵;(3)从天气状态和气温状态获得的关于忙闲的信息。
解:
(1)
根据忙闲的频率,得到忙闲的概率分布如下:
⎡X ⎤ ⎧⎪x1忙闲x2 ⎫⎪
⎢PX( )⎥⎦=⎨⎪⎩10363 10340⎬⎪⎭
⎣
HX( )=−∑2px(i)logpx(i)=−⎛⎜10363log10363+10340log10340⎞⎟⎠=0.964bitsymbol/i ⎝
(2)
设忙闲为随机变量X,天气状态为随机变量Y,气温状态为随机变量Z
HXYZ( )=−∑∑∑pxyz(i j k)logpxyz(i j k)
i j k
=−⎛⎜12log12+8log8+27log27+16log16
⎝103 103 103 103 103 103 103 103
+8log8+15log15+ log5+12log12⎟⎞5
103 103 103 103 103 103 103 103⎠
=2.836bitsymbol/
HYZ( )=−∑∑pyz(j k)logpyz(j k)j k
=−⎛⎜20log20+23log23+32log32+28log28⎟⎞
⎝103 103 103 103 103 103 103 103⎠
1.977= bitsymbol/
HXYZ( / )=HXYZ( )−HYZ( )=2.836−1.977=0.859bitsymbol/
(3)
IXYZ( ; )=HX( )−HXYZ( / )=0.964−0.859=0.159bitsymbol/
2.15有两个二元随机变量X和Y,它们的联合概率为
Y
X
x
1
=0
x
2
=1
y
1
=0
1
/8
3
/8
y
2
=1
3
/8
1
/8
并定义另一随机变量Z=XY(一般乘积),试计算:
(1)H(X),H(Y),H(Z),H(XZ),H(YZ)和H(XYZ);
(2)H(X/Y),H(Y/X),H(X/Z),H(Z/X),H(Y/Z),H(Z/Y),H(X/YZ),H(Y/XZ)和H(Z/XY);(3)I(X;Y),I(X;Z),I(Y;Z),I(X;Y/Z),I(Y;Z/X)和I(X;Z/Y)。
解:
(1)
px pxy pxypx pxy pxy
HX( )=−∑px(i)logpx(i)=1bitsymbol/
i
py pxy pxypy pxy pxy
HY()=−∑py(j)logpy(j)=1bitsymbol/
j
Z=XY的概率分布如下:
⎡Z⎤⎧⎪z1=0 z2=1⎫⎪
⎢⎣PZ()⎥⎦=⎨⎪⎩78 18⎬⎪⎭
HZ()=−∑k2pz(k)=−⎛⎜⎝78log87+81log18⎞⎟⎠=0.544bitsymbol/
px
(1)=pxz(11)+pxz(12)pxz(12)=0pxz(11)=px
(1)=0.5p
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 信息论 编码 主编 答案 完整版
![提示](https://static.bingdoc.com/images/bang_tan.gif)