信息论与编码(第二版)曹雪虹(最全版本)答案Word文档下载推荐.doc
- 文档编号:249991
- 上传时间:2023-04-28
- 格式:DOC
- 页数:45
- 大小:2.88MB
信息论与编码(第二版)曹雪虹(最全版本)答案Word文档下载推荐.doc
《信息论与编码(第二版)曹雪虹(最全版本)答案Word文档下载推荐.doc》由会员分享,可在线阅读,更多相关《信息论与编码(第二版)曹雪虹(最全版本)答案Word文档下载推荐.doc(45页珍藏版)》请在冰点文库上搜索。
51
52
53
54
55
56
61
62
63
64
65
66
共有21种组合:
其中11,22,33,44,55,66的概率是其他15个组合的概率是
(4)参考上面的两个点数的排列,可以得出两个点数求和的概率分布如下:
(5)
2-4
2.5居住某地区的女孩子有25%是大学生,在女大学生中有75%是身高160厘米以上的,而女孩子中身高160厘米以上的占总数的一半。
假如我们得知“身高160厘米以上的某女孩是大学生”的消息,问获得多少信息量?
设随机变量X代表女孩子学历
X
x1(是大学生)
x2(不是大学生)
P(X)
0.25
0.75
设随机变量Y代表女孩子身高
Y
y1(身高>
160cm)
y2(身高<
P(Y)
0.5
已知:
在女大学生中有75%是身高160厘米以上的
即:
求:
身高160厘米以上的某女孩是大学生的信息量
2.6掷两颗骰子,当其向上的面的小圆点之和是3时,该消息包含的信息量是多少?
当小圆点之和是7时,该消息所包含的信息量又是多少?
1)因圆点之和为3的概率
该消息自信息量
2)因圆点之和为7的概率
2.7设有一离散无记忆信源,其概率空间为
(1)求每个符号的自信息量
(2)信源发出一消息符号序列为{202120130213001203210110321010021032011223210},求该序列的自信息量和平均每个符号携带的信息量
同理可以求得
因为信源无记忆,所以此消息序列的信息量就等于该序列中各个符号的信息量之和
就有:
平均每个符号携带的信息量为bit/符号
2.8试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍?
四进制脉冲可以表示4个不同的消息,例如:
{0,1,2,3}八进制脉冲可以表示8个不同的消息,例如:
{0,1,2,3,4,5,6,7}
二进制脉冲可以表示2个不同的消息,例如:
{0,1}
假设每个消息的发出都是等概率的,则:
四进制脉冲的平均信息量八进制脉冲的平均信息量
二进制脉冲的平均信息量
所以:
四进制、八进制脉冲所含信息量分别是二进制脉冲信息量的2倍和3倍。
2-9“-”用三个脉冲“●”用一个脉冲
(1)I(●)=I(-)=
(2)H=
2-10
(2)P(黑/黑)=P(白/黑)=
H(Y/黑)=
(3)P(黑/白)=P(白/白)=
H(Y/白)=(4)P(黑)=P(白)=H(Y)=
2.11有一个可以旋转的圆盘,盘面上被均匀的分成38份,用1,…,38的数字标示,其中有两份涂绿色,18份涂红色,18份涂黑色,圆盘停转后,盘面上的指针指向某一数字和颜色。
(1)如果仅对颜色感兴趣,则计算平均不确定度
(2)如果仅对颜色和数字感兴趣,则计算平均不确定度
(3)如果颜色已知时,则计算条件熵
令X表示指针指向某一数字,则X={1,2,……….,38}
Y表示指针指向某一种颜色,则Y={l绿色,红色,黑色}
Y是X的函数,由题意可知
(1)bit/符号
(2)bit/符号
(3)bit/符号
2.12两个实验X和Y,X={x1x2x3},Y={y1y2y3},l联合概率为
(1)如果有人告诉你X和Y的实验结果,你得到的平均信息量是多少?
(2)如果有人告诉你Y的实验结果,你得到的平均信息量是多少?
(3)在已知Y实验结果的情况下,告诉你X的实验结果,你得到的平均信息量是多少?
联合概率为
Y
y1
y2
y3
x1
7/24
1/24
x2
1/4
x3
=2.3bit/符号
X概率分布
x1
x2
x3
P
8/24
bit/符号
Y概率分布是=0.72bit/符号
2.13有两个二元随机变量X和Y,它们的联合概率为
YX
x1=0
x2=1
y1=0
1/8
3/8
y2=1
并定义另一随机变量Z=XY(一般乘积),试计算:
(1)H(X),H(Y),H(Z),H(XZ),H(YZ)和H(XYZ);
(2)H(X/Y),H(Y/X),H(X/Z),H(Z/X),H(Y/Z),H(Z/Y),H(X/YZ),H(Y/XZ)和H(Z/XY);
(3)I(X;
Y),I(X;
Z),I(Y;
Z),I(X;
Y/Z),I(Y;
Z/X)和I(X;
Z/Y)。
(1)
Z=XY的概率分布如下:
(2)
2-14
P(ij)=P(i/j)=
(2)方法1:
=
方法2:
2-15
P(j/i)=
2.16黑白传真机的消息元只有黑色和白色两种,即X={黑,白},一般气象图上,黑色的出现概率p(黑)=0.3,白色出现的概率p(白)=0.7。
(1)假设黑白消息视为前后无关,求信源熵H(X),并画出该信源的香农线图
(2)实际上各个元素之间是有关联的,其转移概率为:
P(白|白)=0.9143,P(黑|白)=0.0857,P(白|黑)=0.2,P(黑|黑)=0.8,求这个一阶马尔可夫信源的信源熵,并画出该信源的香农线图。
(3)比较两种信源熵的大小,并说明原因。
P(黑|白)=P(黑)
P(白|白)=P(白)
P(黑|黑)=P(黑)
P(白|黑)=P(白)
(2)根据题意,此一阶马尔可夫链是平稳的(P(白)=0.7不随时间变化,P(黑)=0.3不随时
间变化)
=0.512bit/符号
2.17每帧电视图像可以认为是由3Í
105个像素组成的,所有像素均是独立变化,且每像素又取128个不同的亮度电平,并设亮度电平是等概出现,问每帧图像含有多少信息量?
若有一个广播员,在约10000个汉字中选出1000个汉字来口述此电视图像,试问广播员描述此图像所广播的信息量是多少(假设汉字字汇是等概率分布,并彼此无依赖)?
若要恰当的描述此图像,广播员在口述中至少需要多少汉字?
1)
2)
3)
2.20给定语音信号样值X的概率密度为,,求Hc(X),并证明它小于同样方差的正态变量的连续熵。
解
2.24连续随机变量X和Y的联合概率密度为:
,求H(X),H(Y),H(XYZ)和I(X;
Y)。
(提示:
)
2.25某一无记忆信源的符号集为{0,1},已知P(0)=1/4,P
(1)=3/4。
(1)求符号的平均熵;
(2)有100个符号构成的序列,求某一特定序列(例如有m个“0”和(100-m)个“1”)的自信息量的表达式;
(3)计算
(2)中序列的熵。
(2)
(3)
2-26
P(i)=P(ij)=
H(IJ)=
2.29有一个一阶平稳马尔可夫链,各Xr取值于集合,已知起始概率P(Xr)为,转移概率如下图所示
j
i
1
2
3
1/2
2/3
1/3
(1)求的联合熵和平均符号熵
(2)求这个链的极限平均符号熵
(3)求和它们说对应的冗余度
符号
X1,X2的联合概率分布为
1/6
1/12
14/24
5/24
X2的概率分布为
那么
=1.209bit/符号
X2X3的联合概率分布为
7/48
5/36
5/12
=1.26bit/符号
/符号
所以平均符号熵/符号
(2)设a1,a2,a3稳定后的概率分布分别为W1,W2,W3,转移概率距阵为
由得到计算得到
又满足不可约性和非周期性
(3)/符号/符号/符号
2-30
(1)求平稳概率P(j/i)=解方程组得到
(2)
信源熵为:
2-31
P(j/i)=解方程组得到W1=,W2=,W3=
2.32一阶马尔可夫信源的状态图如图2-13所示,信源X的符号集为(0,1,2)。
(1)求信源平稳后的概率分布P(0),P
(1),P
(2)
(2)求此信源的熵
(3)近似认为此信源为无记忆时,符号的概率分布为平稳分布。
求近似信源的熵H(X)并与进行比较
解:
根据香农线图,列出转移概率距阵
令状态0,1,2平稳后的概率分布分别为W1,W2,W3
得到计算得到
由齐次遍历可得
符号由最大熵定理可知存在极大值
或者也可以通过下面的方法得出存在极大值:
又所以当p=2/3时
0<
p<
2/3时
2/3<
1时
所以当p=2/3时存在极大值,且符号
所以
2-33
(1)解方程组:
得p(0)=p
(1)=p
(2)=
(2)
(3)当p=0或p=1时信源熵为0
练习题:
有一离散无记忆信源,其输出为,相应的概率为,设计两个独立的实验去观察它,其结果分别为,已知条件概率:
P(y1|x)
P(y2|x)
(1)求和,并判断哪一个实验好些
(2)求,并计算做Y1和Y2两个实验比做Y1和Y2中的一个实验可多得多少关于X的信息
(3)求和,并解释它们的含义
(1)由题意可知
Y1
Y2
P(y1=0)=p(y1=1)=1/2p(y2=1)=p(y2=1)=1/2
=0.5bit/符号
符号>
所以第二个实验比第一个实验好
P(y1y2x)
00
01
10
(2)因为Y1和Y2相互独立,所以
P(y1y2|x)
y1y2
p
=1.5bit/符号
由此可见,做两个实验比单独做Y1可多得1bit的关于X的信息量,比单独做Y2多得0.5bit的关于X的信息量。
=1.5-1=0.5bit/符号
表示在已做Y2的情况下,再做Y1而多得到的关于X的信息量
同理可得
=1.5-0.5=1bit/符号
表示在已做Y1的情况下,再做Y2而多得到的关于X的信息量
欢迎下载!
第三章
3.1设二元对称信道的传递矩阵为
(1)若P(0)=3/4,P
(1)=1/4,求H(X),H(X/Y),H(Y/X)和I(X;
Y);
(2)求该信道的信道容量及其达到信道容量时的输入概率分布;
2)
其最佳输入分布为
3-2某信源发送端有2个符号,,i=1,2;
,每秒发出一个符号。
接受端有3种符号,j=1,2,3,转移概率矩阵为。
(1)计算接受端的平均不确定度;
(2)计算由于噪声产生的不确定度;
(3)计算信道容量。
联合概率
X Y
则Y的概率分布为
取2为底
取e为底
=0
3.3在有扰离散信道上传输符号0和1,在传输过程中每100个符号发生一个错误,已知P(0)=P
(1)=1/2,信源每秒内发出1000个符号,求此信道的信道容量。
由题意可知该二元信道的转移概率矩阵为:
为一个BSC信道
所以由BSC信道的信道容量计算公式得到:
3.4求图中信道的信道容量及其最佳的输入概率分布.并求当=0和1/2时的信道容量C的大小。
0
1-
信道矩阵P=,此信道为非奇异矩阵,又r=s,可利用方程组求解
=(i=1,2,3)
解得
所以
C=log=log[20+2×
2(1-)log(1-)+]
=log[1+21-H()]=log[1+2]
而(j=1,2,3)
得
所以P(a1)=P(b1)=
当=0时,此信道为一一对应信道,得
C=log3,
当=1/2时,得C=log2,,
3.5求下列二个信道的信道容量,并加以比较
(1)
(2)
其中p+=1
(1)此信道是准对称信道,信道矩阵中Y可划分成三个互不相交的子集由于集列所组成的矩阵,而这两个子矩阵满足对称性,因此可直接利用准对称信道的信道容量公式进行计算。
C1=logr-H(p1’p2’p3’)-
其中r=2,N1=M1=1-2N2=M2=4所以
C1=log2-H(,p-ε,2ε)-(1-2)log(1-2)-2log4
=log2+()log()+(p-ε)log(p-ε)+2εlog2ε-(1-2ε)log(1-2ε)-2εlog4ε
=log2-2εlog2-(1-2ε)log(1-2ε)+()log()+(p-ε)log(p-ε)
=(1-2ε)log2/(1-2ε)+()log()+(p-)log(p-)
输入等概率分布时达到信道容量。
(2)此信道也是准对称信道,也可采用上述两种方法之一来进行计算。
先采用准对称信道的信道容量公式进行计算,此信道矩阵中Y可划分成两个互不相交的子集,由子集列所组成的矩阵为,这两矩阵为对称矩阵其中r=2,N1=M1=1-2N2=M2=2,所以
C=logr-H(-,p-ε,2ε,0)-
=log2+(-)log(-)+(p-ε)log(p-ε)+2εlog2ε-(1-2ε)log(1-2ε)-2εlog2ε
=log2-(1-2ε)log(1-2ε)+(-)log(-)+(p-ε)log(p-ε)
=(1-2ε)log2/(1-2ε)+2εlog2+(-)log(-)+(p-ε)log(p-ε)
=C1+2εlog2
输入等概率分布(P(a1)=P(a2)=1/2)时达到此信道容量。
比较此两信道容量,可得C2=C1+2εlog2
3-6设有扰离散信道的传输情况分别如图3-17所示。
求出该信道的信道容量。
对称信道
取2为底bit/符号
3-7
(1)条件概率,联合概率,后验概率
,,
H(Y/X)=
当接收为y2,发为x1时正确,如果发的是x1和x3为错误,各自的概率为:
P(x1/y2)=,P(x2/y2)=,P(x3/y2)=
其中错误概率为:
Pe=P(x1/y2)+P(x3/y2)=
(4)平均错误概率为
(5)仍为0.733
(6)此信道不好
原因是信源等概率分布,从转移信道来看
正确发送的概率x1-y1的概率0.5有一半失真
x2-y2的概率0.3有失真严重
x3-y3的概率0完全失真
(7)
H(X/Y)=
3.8设加性高斯白噪声信道中,信道带宽3kHz,又设{(信号功率+噪声功率)/噪声功率}=10dB。
试计算该信道的最大信息传输速率Ct。
3.9在图片传输中,每帧约有2.25Í
106个像素,为了能很好地重现图像,能分16个亮度电平,并假设亮度电平等概分布。
试计算每分钟传送一帧图片所需信道的带宽(信噪功率比为30dB)。
3-10一个平均功率受限制的连续信道,其通频带为1MHZ,信道上存在白色高斯噪声。
(1)已知信道上的信号与噪声的平均功率比值为10,求该信道的信道容量;
(2)信道上的信号与噪声的平均功率比值降至5,要达到相同的信道容量,信道通频带应为多大?
(3)若信道通频带减小为0.5MHZ时,要保持相同的信道容量,信道上的信号与噪声的平均功率比值应等于多大?
第四章
第五章
5-1将下表所列的某六进制信源进行二进制编码,试问:
消息
概率
u1
u2
u3
u4
u5
u6
1/16
000
001
010
011
100
101
0
01
011
0111
01111
011111
10
110
1110
11110
111110
0
10
1101
1100
1001
1111
1
110
111
(1)这些码中哪些是唯一可译码?
(2)哪些码是非延长码?
(3)对所有唯一可译码求出其平均码长和编译效率。
首先,根据克劳夫特不等式,找出非唯一可译码
不是唯一可译码,而:
又根据码树构造码字的方法
,,的码字均处于终端节点
他们是即时码
5-2
(1)因为A,B,C,D四个字母,每个字母用两个码,每个码为0.5ms,所以每个字母用10ms
当信源等概率分布时,信源熵为H(X)=log(4)=2
平均信息传递速率为bit/ms=200bit/s
(2)信源熵为
H(X)=
=0.198bit/ms=198bit/s
5-3
5-5
(1)
H(U)=
(2)每个信源使用3个二进制符号,出现0的次数为
出现1的次数为
P(0)=
P
(1)=
(3)
(4)相应的香农编码
信源符号xi
符号概率pi
累加概率Pi
-Logp(xi)
码长Ki
码字
x4
0.875
4
1110
x5
1/32
0.938
5
11110
x6
1/64
0.969
6
x7
1/128
0.984
7
1111110
x8
0.992
11111110
相应的费诺码
第一次分组
第二次分组
第三次分组
第四次分组
第五次分组
第六次分组
第七次分组
二元码
(5)香农码和费诺码相同
平均码长为
编码效率为:
5.6
5.7
5.10
5-11
(1)信源熵
(2)香农编码:
0.32
1.644
0.22
2.184
0.18
0.54
2.474
0.16
0.72
2.644
0.08
0.88
3.644
0.04
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 信息论 编码 第二 曹雪虹 版本 答案