信息论与编码试题集与答案考试必看Word文档下载推荐.doc
- 文档编号:3687967
- 上传时间:2023-05-02
- 格式:DOC
- 页数:33
- 大小:1.04MB
信息论与编码试题集与答案考试必看Word文档下载推荐.doc
《信息论与编码试题集与答案考试必看Word文档下载推荐.doc》由会员分享,可在线阅读,更多相关《信息论与编码试题集与答案考试必看Word文档下载推荐.doc(33页珍藏版)》请在冰点文库上搜索。
(Ö
8.信道容量是信道中能够传输的最小信息量。
(×
9.香农信源编码方法在进行编码时不需要预先计算每个码字的长度。
(×
10.在已知收码R的条件下找出可能性最大的发码作为译码估计值,这种译码方
法叫做最佳译码。
(Ö
三、计算题
某系统(7,4)码
其三位校验位与信息位的关系为:
(1)求对应的生成矩阵和校验矩阵;
(2)计算该码的最小距离;
(3)列出可纠差错图案和对应的伴随式;
(4)若接收码字R=1110011,求发码。
解:
1.
2.dmin=3
3.
S
E
000
0000000
001
0000001
010
0000010
100
0000100
101
0001000
111
0010000
011
0100000
110
1000000
4.RHT=[001]接收出错
E=0000001R+E=C=1110010(发码)
四、计算题
已知的联合概率为:
求,,,
解:
0.918bit/symbol
=1.585bit/symbol
0.251bit/symbol
五、计算题
一阶齐次马尔可夫信源消息集,
状态集,且令,条件转移概率为
,
(1)画出该马氏链的状态转移图;
(2)计算信源的极限熵。
(1)
(2)→
H(X|S1)=H(1/4,1/4,1/2)=1.5比特/符号
H(X|S2)=H(1/3,1/3,1/3)=1.585比特/符号
H(X|S3)=H(2/3,1/3)=0.918比特/符号
比特/符号
六、计算题
若有一信源,每秒钟发出2.55个信源符号。
将此信源的输出符号送入某一个二元信道中进行传输
(假设信道是无噪无损的,容量为1bit/二元符号),
而信道每秒钟只传递2个二元符号。
(1)试问信源不通过编码(即x1®
0,x2®
1在信道中传输)
(2)能否直接与信道连接?
(3)若通过适当编码能否在此信道中进行无失真传输?
(4)试构造一种哈夫曼编码(两个符号一起编码),
(5)使该信源可以在此信道中无失真传输。
1.不能,此时信源符号通过0,1在信道中传输,2.55二元符号/s>
2二元符号/s
2.从信息率进行比较,2.55*=1.84<
1*2
可以进行无失真传输
3.
1.56二元符号/2个信源符号
此时1.56/2*2.55=1.989二元符号/s<
2二元符号/s
七、计算题
两个BSC信道的级联如右图所示:
(1)写出信道转移矩阵;
(2)求这个信道的信道容量。
(1)
(2)
信息理论与编码试卷A答案中南大学考试试卷
200--2010学年上学期期末考试试题时间100分钟
信息论基础课程32学时学分考试形式:
闭卷
专业年级:
通信07级总分100分,占总评成绩70%
注:
此页不作答题纸,请将答案写在答题纸上
一填空题(本题20分,每小题2分)
1无失真信源编码的中心任务是编码后的信息率压缩接近到1限失真压缩中心任务是在给定的失真度条件下,信息率压缩接近到2。
2信息论是应用近代数理统计方法研究信息的传输、存储与处理的科学,故称为3;
1948年香农在贝尔杂志上发表了两篇有关的“通信的数学理论”文章,该文用熵对信源的4的度量,同时也是衡量5大小的一个尺度;
表现在通信领域里,发送端发送什么有一个不确定量,通过信道传输,接收端收到信息后,对发送端发送什么仍然存在一个不确定量,把这两个不确定量差值用6来表示,它表现了通信信道流通的7,若把它取最大值,就是通信线路的8,若把它取最小值,就是9。
3若分组码H阵列列线性无关数为n,则纠错码的最小距离dmin为10。
二简答题(本题20分,每小题4分)
1.根据信息理论当前无失真压宿在压宿空间和速度两个方向还有研究价值吗?
2.我们知道,“猫”(调制解调器的俗称)是在模拟链路上传输数字数据的设备,它可以在一个音频电话线上传输二进制数据,并且没有太高的错误率。
现在,我们上网用的“猫”的速度已可达到56Kbps了,但是,如果你用网络蚂蚁或其它软件从网上下载东西时,你会发现很多时候网络传输的速度都很低,远低于56Kbps(通常音频电话连接支持的频率范围为300Hz到3300Hz,而一般链路典型的信噪比是30dB)(摘自中新网)
3.结合信息论课程针对”信息”研究对象,说明怎样研究一个对象.
4.用纠错编码基本原理分析由下列两种生成矩阵形成线性分组码的优劣
(1)
(2)
5.新华社电,2008年5月16日下午6时半,离汶川地震发生整整100个小时。
虚弱得已近昏迷的刘德云被救援官兵抬出来时,看到了自己的女儿。
随即,他的目光指向自己的左手腕。
女儿扑上去,发现父亲左手腕上歪歪扭扭写着一句话:
“我欠王老大3000元。
”
请列出上面这段话中信号、消息、信息。
三计算编码题(本题60分)
1.从大量统计资料知道,男性中红绿色盲的发病率为7%,女性发病率为0.5%。
(10分)
(1)若问一位女士:
“你是否是色盲?
”他的回答可能是“是”,可能是“否”,问这两个回答中各含多少信息量?
从计算的结果得出一个什么结论?
(2)如果问一位女士,问她回答(是或否)前平均不确定性和回答(是或否)后得到的信息量各为多少?
2.黑白气象传真图的消息只有黑色和白色两种,即信源X={黑,白}。
设黑色出现的概率为P(黑)=0.5,白色出现的概率为P(白)=0.5。
(1)假设图上黑白消息出现前后没有关联,求信源的H∞熵;
(2)假设消息只前后有关联,其依赖关系为P(白/白)=0.8,P(黑/白)=0.2,P(白/黑)=0.4,P(黑/黑)=0.6,求信源的H∞熵;
(3)比较上面两个H∞的大小,并说明其物理含义。
3.离散无记忆信源P(x1)=8/16;
P(x2)=3/16;
P(x3)=4/16;
P(x4)=1/16;
(1)计算对信源的逐个符号进行二元定长编码码长和编码效率;
(2)对信源编二进制哈夫曼码,并计算平均码长和编码效率。
(3)你对哈夫曼码实现新信源为等概的理解。
4.设二元对称信道的传递矩阵为
若P(0)=3/4,P
(1)=1/4,求该信道的信道容量及其达到信道容量时的输入概率分布;
并说明物理含义。
5.设信源通过一干扰信道,接收符号为Y={y1,y2},信道转移矩阵为,求:
(1)收到消息yj(j=1)后,获得的关于xi(i=2)的信息量;
(2)信源X和信宿Y的信息熵;
信道疑义度H(X/Y)和噪声熵H(Y/X);
(3)接收到信息Y后获得的平均互信息量。
6二元(7,4)汉明码校验矩阵H为:
(1)写出系统生成矩阵G,列出错误形式和伴随矢量表,你能发现他们之间有什么联系,若没有这个表怎么译码,
(2)若收到的矢量0000011,请列出编码后发送矢量、差错矢量、和编码前信息矢量。
一、填空题(每空2分,共20分)
1.设X的取值受限于有限区间[a,b],则X服从均匀分布时,其熵达到最大;
如X的均值为,方差受限为,则X服从高斯分布时,其熵达到最大。
2.信息论不等式:
对于任意实数,有,当且仅当时等式成立。
3.设信源为X={0,1},P(0)=1/8,则信源的熵为比特/符号,如信源发出由m个“0”和(100-m)个“1”构成的序列,序列的自信息量为比特/符号。
4.离散对称信道输入等概率时,输出为等概分布。
5.根据码字所含的码元的个数,编码可分为定长编码和变长编码。
6.设DMS为,用二元符号表对其进行定长编码,若所编的码为{000,001,010,011,100,101},则编码器输出码元的一维概率0.747,0.253。
二、简答题(30分)
1.设信源为,试求
(1)信源的熵、信息含量效率以及冗余度;
(2)求二次扩展信源的概率空间和熵。
(2)二次扩展信源的概率空间为:
X\X
1/16
3/16
9/16
2.什么是损失熵、噪声熵?
什么是无损信道和确定信道?
如输入输出为,则它们的分别信道容量为多少?
答:
将H(X|Y)称为信道的疑义度或损失熵,损失熵为零的信道就是无损信道,信道容量为logr。
将H(Y|X)称为信道的噪声熵,噪声熵为零的信道就是确定信道,信道容量为logs。
3.信源编码的和信道编码的目的是什么?
信源编码的作用:
(1)符号变换:
使信源的输出符号与信道的输入符号相匹配;
(2)冗余度压缩:
是编码之后的新信源概率均匀化,信息含量效率等于或接近于100%。
信道编码的作用:
降低平均差错率。
4.什么是香农容量公式?
为保证足够大的信道容量,可采用哪两种方法?
香农信道容量公式:
,B为白噪声的频带限制,为常数,输入X(t)的平均功率受限于。
由此,为保证足够大的信道容量,可采用
(1)用频带换信噪比;
(2)用信噪比换频带。
5.什么是限失真信源编码?
有失真信源编码的中心任务:
在允许的失真范围内把编码的信息率压缩到最小。
三、综合题(20+15+15)
1.设随机变量和的联合概率空间为
定义一个新的随机变量(普通乘积)
(1)计算熵H(X),H(Y),H(Z),H(XZ),H(YZ),以及H(XYZ);
(2)计算条件熵H(X|Y),H(Y|X),H(X|Z),H(Z|X),H(Y|Z),H(Z|Y),H(X|YZ),H(Y|XZ)以及H(Z|XY);
(3)计算平均互信息量I(X;
Y),I(X:
Z),I(Y:
Z),I(X;
Y|Z),I(Y;
Z|X)以及I(X:
,Z|Y)。
X\Y
1
1/8
3/8
1/2
(2)
X\Z
7/8
Y\Z
(3)
2.设二元对称信道的输入概率分布分别为,转移矩阵为,
(1)求信道的输入熵,输出熵,平均互信息量;
(2)求信道容量和最佳输入分布;
(3)求信道剩余度。
(1)信道的输入熵;
(2)最佳输入分布为,此时信道的容量为
(3)信道的剩余度:
3.设有DMC,其转移矩阵为,若信道输入概率为,试确定最佳译码规则和极大似然译码规则,并计算出相应的平均差错率。
最佳译码规则:
,平均差错率为1-1/4-1/6-1/8=11/24;
极大似然规则:
,平均差错率为1-1/4-1/8-1/8=1/2。
五、(8分)求右图所示的信道的容量及达到信道容量时的输入分布。
由右图可知,该信道的转移概率矩阵为
可以看到,当该信道的输入分布取时,
此时
而,此分布满足。
因此这个信道的容量为
C=lb2=1(bit/符号),而达到信道容量的输入分布可取。
12.信息论不等式:
4.设有DMC,其转移矩阵为,若信道输入概率为,试确定最佳译码规则和极大似然译码规则,并计算出相应的平均差错率。
,平均差错率为1-1/4-1/8-1/8=1/2
1.信息的基本概念在于它的 不确定性 。
2.按照信源发出的消息在时间和幅度上的分布情况,可将信源分成 离散 信源和连续 信源两大类。
3.一个随机事件的 自信息量 定义为其出现概率对数的负值。
4.按树图法构成的码一定满足 即时码的定义。
5. 有扰离散信道编码定理 称为香农第二极限定理。
6.纠错码的检、纠错能力是指 检测、纠正错误码元的数目 。
7.信道一般指传输信息的物理媒介,分为 有线 信道和 无线 信道。
8.信源编码的主要目的是 提高通信系统的有效性 。
得分
评卷人
二、选择题(共10分,每题2分)
1.给定xi条件下随机事件yj所包含的不确定度和条件自信息量p(yj/xi),(D)
A.数量上不等,单位不同 B.数量上不等,单位相同
C.数量上相等,单位不同 D.数量上相等,单位相同
2.条件熵和无条件熵的关系是:
(C)
A.H(Y/X)<H(Y) B.H(Y/X)>H(Y)
C.H(Y/X)≤H(Y) D.H(Y/X)≥H(Y)
3.根据树图法构成规则, (D)
A.在树根上安排码字 B.在树枝上安排码字
C.在中间节点上安排码字 D.在终端节点上安排码字
4.下列说法正确的是:
(C)
A.奇异码是唯一可译码 B.非奇异码是唯一可译码
C.非奇异码不一定是唯一可译码 D.非奇异码不是唯一可译码
5.下面哪一项不属于熵的性质:
(B)
A.非负性 B.完备性
C.对称性 D.确定性
三、名词解释(共15分,每题5分)
1.奇异码
包含相同的码字的码称为奇异码。
2.码距
两个等长码字之间对应码元不相同的数目,称为码距。
3.输出对称矩阵
转移概率矩阵的每一列都是第一列的置换(包含同样元素),则该矩阵称为输出对称矩阵。
三、简答题(共20分,每题10分)
1.简述信息的特征。
信息的基本概念在于它的不确定性,任何已确定的事物都不含信息。
接收者在收到信息之前,对它的内容是不知道的,所以信息是新知识、新内容。
信息是能使认识主体对某一事物的未知性或不确定性减少的有用知识。
信息可以产生,也可以消失,同时信息可以被携带、贮存及处理。
信息是可以量度的,信息量有多少的差别。
2.简单介绍哈夫曼编码的步骤。
① 将信源消息符号按其出现的概率大小依次排列
p(x1)≥p(x2)≥…≥p(xn)
②取两个概率最小的符号分别配以0和1,并将这两个概率相加作为一个新符号的概率,与未分配码元的符号重新排队。
③对重排后的两个概率最小符号重复步骤2的过程。
④继续上述过程,直到最后两个符号配以0和1为止。
⑤从最后一级开始,向前返回得到各个信源符号所对应的码元序列,即相应的码字。
四、计算题(共35分)
1.设有一个二进制一阶马尔可夫信源,其信源符号为X∈(0,1),条件概率为
p(0/0)=p(1/0)=0.5p(1/1)=0.25p(0/1)=0.75
画出状态图并求出各符号稳态概率。
(15分)
0.25
0.5
0.75
2.设输入符号与输出符号为X=Y∈{0,1,2,3},且输入符号等概率分布。
设失真函数为汉明失真。
求Dmax和Dmin及R(Dmax)和R(Dmin)(20分)
失真矩阵的每一行都有0,因此Dmin=0
一、填空题
1.设信源X包含4个不同离散消息,当且仅当X中各个消息出现的概率为___1/4___时,信源熵达到最大值,为__2__,此时各个消息的自信息量为__2__。
2.如某线性分组码的最小汉明距dmin=4,则该码最多能检测出___3____个随机错,最多能
纠正__1____个随机错。
3.克劳夫特不等式是唯一可译码___存在___的充要条件。
4.平均互信息量I(X;
Y)与信源熵和条件熵之间的关系是___(X;
Y)=H(X)-H(X/Y)___。
5._信源___提高通信的有效性,_信道____目的是提高通信的可靠性,_加密__编码的目的是保证通信的安全性。
6.信源编码的目的是提高通信的有效性,信道编码的目的是提高通信的可靠性,加密编码的目的是保证通信的安全性。
7.设信源X包含8个不同离散消息,当且仅当X中各个消息出现的概率为__1/8__时,信
源熵达到最大值,为___3____。
8.自信息量表征信源中各个符号的不确定度,信源符号的概率越大,其自信息量越_小___。
9.信源的冗余度来自两个方面,一是信源符号之间的__相关性__,二是信源符号分布的
__不均匀性__。
10.最大后验概率译码指的是译码器要在已知r的条件下找出可能性最大的发码作为译码估值,即令=maxP(|r)___。
11.常用的检纠错方法有__前向纠错___、反馈重发和混合纠错三种。
二、单项选择题
1.下面表达式中正确的是(A)。
A.B.
C.D.
2.彩色电视显像管的屏幕上有5×
105个像元,设每个像元有64种彩色度,每种彩度又有16种不同的亮度层次,如果所有的彩色品种和亮度层次的组合均以等概率出现,并且各个组合之间相互独立。
每秒传送25帧图像所需要的信道容量(C)。
A.50´
106B.75´
106C.125´
106D.250´
106
3.已知某无记忆三符号信源a,b,c等概分布,接收端为二符号集,其失真矩阵为d=,则信源的最大平均失真度为(D)。
A.1/3B.2/3C.3/3D.4/3
4.线性分组码不具有的性质是(C)。
A.任意多个码字的线性组合仍是码字
B.最小汉明距离等于最小非0重量
C.最小汉明距离为3
D.任一码字和其校验矩阵的乘积cmHT=0
5.率失真函数的下限为(B)。
A.H(U)B.0
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 信息论 编码 试题 答案 考试