信息论基础及答案.docx
- 文档编号:14032908
- 上传时间:2023-06-20
- 格式:DOCX
- 页数:8
- 大小:134.44KB
信息论基础及答案.docx
《信息论基础及答案.docx》由会员分享,可在线阅读,更多相关《信息论基础及答案.docx(8页珍藏版)》请在冰点文库上搜索。
信息论基础及答案
信息论基础及答案
《信息论基础》试卷答案
一、填空题(共25分,每空1分)
1、连续信源的绝对熵为无穷大。
(或
)
2、离散无记忆信源在进行无失真变长信源编码时,编码效率最大可以达到1。
3、无记忆信源是指信源先后发生的符号彼此统计独立。
4、离散无记忆信源在进行无失真变长编码时,码字长度是变化的。
根据信源符号的统计特性,对概率大的符号用短码,对概率小的符号用长码,这样平均码长就可以降低,从而提高有效性(传输速率或编码效率)。
5、为了提高系统的有效性可以采用信源编码,为了提高系统的可靠性可以采用信道编码。
6、八进制信源的最小熵为0,最大熵为3bit/符号。
的状态。
13、同时扔出一对均匀的骰子,当得知“两骰子面朝上点数之和为2”所获得的信息量为lg36=5.17比特,当得知“面朝上点数之和为8”所获得的信息量为lg36/5=2.85比特。
14.在下面空格中选择填入的数学符号“=,≥,≤,>”或“<”
H(XY)=H(Y)+H(X∣Y)≤H(Y)+H(X)
二、(5分)已知信源的概率密度函数为
,计算信源的相对熵。
------3分
bit/自由度-------2分
三、(10分)一个平均功率受限的连续信道,信道带宽为1MHz,信道噪声为高斯白噪声。
(1)已知信道上的信号与噪声的平均功率比值为20,计算该信道的信道容量。
(2)如果信道上的信号与噪声的平均功率比值降为10,要达到相同的信道容量,信道带宽应为多少?
(3)如果信道带宽降为0.5MHz,要达到相同的信道容量,信道上的信号与噪声的平均功率比值应为多少?
1)
------3分
b/s---1分
2)
Hz---3分
3)
=440----3分
四、(16分)已知信源共7个符号消息,其概率空间为
试用霍夫曼编码法编成二进制变长码。
并计算信源熵、平均码长、编码后的信息传输率、编码信息率和编码效率。
要求写出详细的编码过程和计算过程。
------6分
位----2分
bit/符号--------2分
bit/码字--------2分
----------2分
bit/码元--------2分
五、(16分)设一个离散无记忆信源的概率空间为
它们通过干扰信道,信道输出端的接收符号集为Y=[b1,b2],已知信源传输概率如下图所示。
试计算:
(1)信源X中事件x1和x2分别含有的自信息量;(2分)
(2)收到yj(j=1,2)后,获得的关于x1的信息量;(2分)
(3)信源X的信息熵;(2分)
(4)条件熵H(Y∣x1),H(Y∣x2);(2分)
(5)共商H(XY)、信道疑义度H(X∣Y)和噪声熵H(Y∣X);(6分)
(6)收到消息Y后获得的关于信源X的平均信息量。
(2分)
(1)I(x1)=-log0.5=1bit------1分
I(x2)=-log0.5=1bit------1分
(2)I(x1;y1)=lg0.831/0.5(或=lg0.98/0.59)=0.733-------1分
I(x1;y2)=lg0.024/0.5(或=lg0.02/0.41)=-4.38-------1分
(3)H(x)=H(0.5,0.5)=1bit/符号------2分
(4)H(y︱x1)=H(0.98,0.02)=0.142bit/符号-----1分
H(y︱x2)=H(0.8,0.2)=0.722bit/符号-----1分
(5)H(y)=H(0.59,0.41)=0.977
H(xy)=H(0.49,0.01,0.1,0.4)=1.432bit/二符号------2分
H(x︱y)=H(xy)-H(y)=0.455bit/符号------2分
H(y︱x)=H(xy)-H(x)=1.432-1=0.432bit/符号-----2分
(6)I(x;y)=H(x)+H(y)-H(xy)=0.545bit/符号------2分
六、(12分)设某信道的传递矩阵为
(1)若输入符号P(x1)=P(x2)=1/4,P(x3)=1/2,求H(X∣Y)和I(X;Y)。
(2)计算该信道的信道容量,并说明达到信道容量的最佳输入概率分布。
(1)-----写出公式2分
H(X︱Y)=
,I(X;Y)=H(X)-H(X︱Y)
=1/3,同理:
p(y2)=7/24,p(y3)=3/8
--------计算过程4分
同理:
p(x1︱y2)=2/7,p(x1︱y3)=1/9
p(x2︱y1)=1/8,p(x2︱y2)=3/7,p(x2︱y3)=2/3
p(x3︱y1)=1/2,p(x3︱y2)=2/7,p(x3︱y3)=2/3
H(X)=-2×(1/4)log(1/4)-(1/2)log(1/2)=1.5bit/symbol
------最终答案2分
H(X∣Y)=
1.383bit/symbol
I(X;Y)=H(X)-H(X∣Y)≈0.117bit/symbol
(2)对称离散信道
C=logS-H(p的行矢量)-----判断公式3分
=log3-H(1/2,1/3,1/6)≈0.126bit/symbol---答案1分
输入等概时,达到信道容量。
-----说明2分
七、(16分)有一个二元二阶马尔可夫信源,其信源符号集为{0,1},初始概率大小为P(0)=1/3,P
(1)=2/3。
条件概率定为
P(0∣00)=P(1∣11)=0.8
P(1∣00)=P(0∣11)=0.2
P(0∣01)=P(0∣10)=P(1∣01)=P(1∣10)=0.5
(1)画出该信源的状态转移图。
(2)计算达到稳定状态的极限概率。
(3)该马尔可夫信源的极限熵H∞。
(4)计算达到稳定后符号0和1的概率分布。
解:
(1)
----------4分
(2)
P(E1)=0.8P(E1)+0.5P(E3)
P(E2)=0.2P(E1)+0.5P(E3)
P(E3)=0.5P(E2)+0.2P(E4)
P(E4)=0.5P(E2)+0.8P(E4)
P(E1)+P(E2)+P(E3)+P(E4)=1
解得:
P(E1)=P(E4)=5/14P(E2)=P(E3)=2/14--------4分
(3)
=0.801bit/符号-----公式2分,答案2分
(4)
-----2分p
(1)=p
(2)=1/2--------2分
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 信息论 基础 答案