信息论与编码试题集与答案(新)Word格式文档下载.doc
- 文档编号:7021420
- 上传时间:2023-05-07
- 格式:DOC
- 页数:36
- 大小:1.04MB
信息论与编码试题集与答案(新)Word格式文档下载.doc
《信息论与编码试题集与答案(新)Word格式文档下载.doc》由会员分享,可在线阅读,更多相关《信息论与编码试题集与答案(新)Word格式文档下载.doc(36页珍藏版)》请在冰点文库上搜索。
(×
10.在已知收码R的条件下找出可能性最大的发码作为译码估计值,这种译码方
法叫做最佳译码。
(Ö
三、计算题
某系统(7,4)码
其三位校验位与信息位的关系为:
(1)求对应的生成矩阵和校验矩阵;
(2)计算该码的最小距离;
(3)列出可纠差错图案和对应的伴随式;
(4)若接收码字R=1110011,求发码。
解:
1.
2.dmin=3
3.
S
E
000
0000000
001
0000001
010
0000010
100
0000100
101
0001000
111
0010000
011
0100000
110
1000000
4.RHT=[001]接收出错
E=0000001R+E=C=1110010(发码)
四、计算题
已知的联合概率为:
求,,,
解:
0.918bit/symbol
=1.585bit/symbol
0.251bit/symbol
五、计算题
一阶齐次马尔可夫信源消息集,
状态集,且令,条件转移概率为
,
(1)画出该马氏链的状态转移图;
(2)计算信源的极限熵。
(1)
(2)→
H(X|S1)=H(1/4,1/4,1/2)=1.5比特/符号
H(X|S2)=H(1/3,1/3,1/3)=1.585比特/符号
H(X|S3)=H(2/3,1/3)=0.918比特/符号
比特/符号
六、计算题
若有一信源,每秒钟发出2.55个信源符号。
将此信源的输出符号送入某一个二元信道中进行传输
(假设信道是无噪无损的,容量为1bit/二元符号),
而信道每秒钟只传递2个二元符号。
(1)试问信源不通过编码(即x1®
0,x2®
1在信道中传输)
(2)能否直接与信道连接?
(3)若通过适当编码能否在此信道中进行无失真传输?
(4)试构造一种哈夫曼编码(两个符号一起编码),
(5)使该信源可以在此信道中无失真传输。
1.不能,此时信源符号通过0,1在信道中传输,2.55二元符号/s>
2二元符号/s
2.从信息率进行比较,2.55*=1.84<
1*2
可以进行无失真传输
3.
1.56二元符号/2个信源符号
此时1.56/2*2.55=1.989二元符号/s<
2二元符号/s
七、计算题
两个BSC信道的级联如右图所示:
(1)写出信道转移矩阵;
(2)求这个信道的信道容量。
(1)
(2)
信息理论与编码试卷A答案中南大学考试试卷
200--2010学年上学期期末考试试题时间100分钟
信息论基础课程32学时学分考试形式:
闭卷
专业年级:
通信07级总分100分,占总评成绩70%
注:
此页不作答题纸,请将答案写在答题纸上
一填空题(本题20分,每小题2分)
1无失真信源编码的中心任务是编码后的信息率压缩接近到1限失真压缩中心任务是在给定的失真度条件下,信息率压缩接近到2。
2信息论是应用近代数理统计方法研究信息的传输、存储与处理的科学,故称为3;
1948年香农在贝尔杂志上发表了两篇有关的“通信的数学理论”文章,该文用熵对信源的4的度量,同时也是衡量5大小的一个尺度;
表现在通信领域里,发送端发送什么有一个不确定量,通过信道传输,接收端收到信息后,对发送端发送什么仍然存在一个不确定量,把这两个不确定量差值用6来表示,它表现了通信信道流通的7,若把它取最大值,就是通信线路的8,若把它取最小值,就是9。
3若分组码H阵列列线性无关数为n,则纠错码的最小距离dmin为10。
二简答题(本题20分,每小题4分)
1.根据信息理论当前无失真压宿在压宿空间和速度两个方向还有研究价值吗?
2.我们知道,“猫”(调制解调器的俗称)是在模拟链路上传输数字数据的设备,它可以在一个音频电话线上传输二进制数据,并且没有太高的错误率。
现在,我们上网用的“猫”的速度已可达到56Kbps了,但是,如果你用网络蚂蚁或其它软件从网上下载东西时,你会发现很多时候网络传输的速度都很低,远低于56Kbps(通常音频电话连接支持的频率范围为300Hz到3300Hz,而一般链路典型的信噪比是30dB)(摘自中新网)
3.结合信息论课程针对”信息”研究对象,说明怎样研究一个对象.
4.用纠错编码基本原理分析由下列两种生成矩阵形成线性分组码的优劣
(1)
(2)
5.新华社电,2008年5月16日下午6时半,离汶川地震发生整整100个小时。
虚弱得已近昏迷的刘德云被救援官兵抬出来时,看到了自己的女儿。
随即,他的目光指向自己的左手腕。
女儿扑上去,发现父亲左手腕上歪歪扭扭写着一句话:
“我欠王老大3000元。
”
请列出上面这段话中信号、消息、信息。
三计算编码题(本题60分)
1.从大量统计资料知道,男性中红绿色盲的发病率为7%,女性发病率为0.5%。
(10分)
(1)若问一位女士:
“你是否是色盲?
”他的回答可能是“是”,可能是“否”,问这两个回答中各含多少信息量?
从计算的结果得出一个什么结论?
(2)如果问一位女士,问她回答(是或否)前平均不确定性和回答(是或否)后得到的信息量各为多少?
2.黑白气象传真图的消息只有黑色和白色两种,即信源X={黑,白}。
设黑色出现的概率为P(黑)=0.5,白色出现的概率为P(白)=0.5。
(1)假设图上黑白消息出现前后没有关联,求信源的H∞熵;
(2)假设消息只前后有关联,其依赖关系为P(白/白)=0.8,P(黑/白)=0.2,P(白/黑)=0.4,P(黑/黑)=0.6,求信源的H∞熵;
(3)比较上面两个H∞的大小,并说明其物理含义。
3.离散无记忆信源P(x1)=8/16;
P(x2)=3/16;
P(x3)=4/16;
P(x4)=1/16;
(1)计算对信源的逐个符号进行二元定长编码码长和编码效率;
(2)对信源编二进制哈夫曼码,并计算平均码长和编码效率。
(3)你对哈夫曼码实现新信源为等概的理解。
4.设二元对称信道的传递矩阵为
若P(0)=3/4,P
(1)=1/4,求该信道的信道容量及其达到信道容量时的输入概率分布;
并说明物理含义。
5.设信源通过一干扰信道,接收符号为Y={y1,y2},信道转移矩阵为,求:
(1)收到消息yj(j=1)后,获得的关于xi(i=2)的信息量;
(2)信源X和信宿Y的信息熵;
信道疑义度H(X/Y)和噪声熵H(Y/X);
(3)接收到信息Y后获得的平均互信息量。
6二元(7,4)汉明码校验矩阵H为:
(1)写出系统生成矩阵G,列出错误形式和伴随矢量表,你能发现他们之间有什么联系,若没有这个表怎么译码,
(2)若收到的矢量0000011,请列出编码后发送矢量、差错矢量、和编码前信息矢量。
一、填空题(每空2分,共20分)
1.设X的取值受限于有限区间[a,b],则X服从均匀分布时,其熵达到最大;
如X的均值为,方差受限为,则X服从高斯分布时,其熵达到最大。
2.信息论不等式:
对于任意实数,有,当且仅当时等式成立。
3.设信源为X={0,1},P(0)=1/8,则信源的熵为比特/符号,如信源发出由m个“0”和(100-m)个“1”构成的序列,序列的自信息量为比特/符号。
4.离散对称信道输入等概率时,输出为等概分布。
5.根据码字所含的码元的个数,编码可分为定长编码和变长编码。
6.设DMS为,用二元符号表对其进行定长编码,若所编的码为{000,001,010,011,100,101},则编码器输出码元的一维概率0.747,0.253。
二、简答题(30分)
1.设信源为,试求
(1)信源的熵、信息含量效率以及冗余度;
(2)求二次扩展信源的概率空间和熵。
(2)二次扩展信源的概率空间为:
X\X
1/16
3/16
9/16
2.什么是损失熵、噪声熵?
什么是无损信道和确定信道?
如输入输出为,则它们的分别信道容量为多少?
答:
将H(X|Y)称为信道的疑义度或损失熵,损失熵为零的信道就是无损信道,信道容量为logr。
将H(Y|X)称为信道的噪声熵,噪声熵为零的信道就是确定信道,信道容量为logs。
3.信源编码的和信道编码的目的是什么?
信源编码的作用:
(1)符号变换:
使信源的输出符号与信道的输入符号相匹配;
(2)冗余度压缩:
是编码之后的新信源概率均匀化,信息含量效率等于或接近于100%。
信道编码的作用:
降低平均差错率。
4.什么是香农容量公式?
为保证足够大的信道容量,可采用哪两种方法?
香农信道容量公式:
,B为白噪声的频带限制,为常数,输入X(t)的平均功率受限于。
由此,为保证足够大的信道容量,可采用
(1)用频带换信噪比;
(2)用信噪比换频带。
5.什么是限失真信源编码?
有失真信源编码的中心任务:
在允许的失真范围内把编码的信息率压缩到最小。
三、综合题(20+15+15)
1.设随机变量和的联合概率空间为
定义一个新的随机变量(普通乘积)
(1)计算熵H(X),H(Y),H(Z),H(XZ),H(YZ),以及H(XYZ);
(2)计算条件熵H(X|Y),H(Y|X),H(X|Z),H(Z|X),H(Y|Z),H(Z|Y),H(X|YZ),H(Y|XZ)以及H(Z|XY);
(3)计算平均互信息量I(X;
Y),I(X:
Z),I(Y:
Z),I(X;
Y|Z),I(Y;
Z|X)以及I(X:
,Z|Y)。
X\Y
1
1/8
3/8
1/2
(2)
X\Z
7/8
Y\Z
(3)
2.设二元对称信道的输入概率分布分别为,转移矩阵为,
(1)求信道的输入熵,输出熵,平均互信息量;
(2)求信道容量和最佳输入分布;
(3)求信道剩余度。
(1)信道的输入熵;
(2)最佳输入分布为,此时信道的容量为
(3)信道的剩余度:
3.设有DMC,其转移矩阵为,若信道输入概率为,试确定最佳译码规则和极大似然译码规则,并计算出相应的平均差错率。
最佳译码规则:
,平均差错率为1-1/4-1/6-1/8=11/24;
极大似然规则:
,平均差错率为1-1/4-1/8-1/8=1/2。
《信息论编码》模拟试题二
及
参考答案
多少信息量。
根据题意有,,
由
所以
得知5kΩ电阻的功耗为1/4W,获得的自信息量为0.448bit
三、(18分)已知6符号离散信源的出现概率为,试计算它的熵、Huffman编码和费诺编码的码字、平均码长及编码效率。
该离散信源的熵为
=1.933bit/符号
Huffman编码为:
平均码长
编码效率为
考试课程
信息论与编码
考试日期
成绩
课程号
教师号
任课教师
学生姓名
学号(8位)
班级
一、填空题(每空2分,共32分)。
1.在现代通信系统中,信源编码主要用于解决信息传输中的有效性,信道编码主要用于解决信息传输中的可靠性,加密编码主要用于解决信息传输中的安全性。
2.离散信源,则信源的熵为1.75bit/符号。
3.对称DMC信道的输入符号数为n,输出符号数为m,信道转移概率矩阵为pij,则该信道的容量为。
4.采用m进制编码的码字长度为Ki,码字个数为n,则克劳夫特不等式为,它是判断唯一可译码存在的充要条件。
5.差错控制的基本方式大致可以分为前向纠错、反馈重发和混合纠错。
6.如果所有码字都配置在二进制码树的叶节点,则该码字为唯一可译码。
7.齐次马尔可夫信源的一步转移概率矩阵为P,稳态分布为W,则W和P满足的方程为W=WP。
8.设某信道输入端的熵为H(X),输出端的熵为H(Y),该信道为无噪有损信道,则该信道的容量为MAXH(Y)。
9.某离散无记忆信源X,其符号个数为n,则当信源符号呈等概_____分布情况下,信源熵取最大值___log(n)。
10.在信息处理中,随着处理级数的增加,输入消息和输出消息之间的平均互信息量趋于
减少。
二、(12分)设有一批电阻,按阻值分70%是2kΩ,30%是5kΩ;
按功耗分64%是1/8W,36%是1/4W。
现已知2kΩ电阻中80%是1/8W,假如得知5kΩ电阻的功耗为1/4W,问获得
费诺编码为:
符号
概率
编码过程
码字
a1
0.5
a2
0.25
01
a3
0.125
a4
0.0625
0001
a5
0.03125
00001
a6
00000
四、(14分)在图片传输中,每帧约有2Í
106个像素,为了能很好地重现图像,每像素能分256个亮度电平,并假设亮度电平等概分布。
试计算每分钟传送两帧图片所需信道的带宽(信噪功率比为30dB)。
每个像素点对应的熵bit/点
2帧图片的信息量
单位时间需要的信道容量
由香农信道容量公式
五、(8分)求右图所示的信道的容量及达到信道容量时的输入分布。
由右图可知,该信道的转移概率矩阵为
可以看到,当该信道的输入分布取时,
此时
而,此分布满足。
因此这个信道的容量为
C=lb2=1(bit/符号),而达到信道容量的输入分布可取。
六、(16分)设离散信源(其中)和接收变量V={v1,v2,v3,v4},失真矩阵为,求Dmin,Dmax、R(Dmin)、R(Dmax)、达到Dmin和Dmax时的编码器转移概率矩阵P。
由于失真矩阵每行每列都只有一个最小值“0”,所以可以达到Dmin=0,此时对应的信道转移概率矩阵应使得信源的每个输出经过信道转移后失真为0,即选择。
R(Dmin)=R(0)=H(U)=1-p*logp–(1-p)*log(1-p)=1+H(p)。
Dmax=,由于具有对称性,每个和式结果都为1/2,因此Dmax=1/2,对应的转移概率矩阵可取任意1列为全1,如,此时R(Dmax)=R(1/2)=0。
12.信息论不等式:
4.设有DMC,其转移矩阵为,若信道输入概率为,试确定最佳译码规则和极大似然译码规则,并计算出相应的平均差错率。
专业班级:
姓名:
学号:
…………………………密………………………………封………………………………线…………………………
河南理工大学万方学院2008-2009学年第1学期
《信息论与编码》考试卷(B卷)
考试方式:
闭卷本试卷考试分数占学生总评成绩的80%
总分
题号
一
二
三
四
五
六
七
八
九
十
核分人
得分
复查总分总复查人
评卷人
一、填空题(共20分,每空2分)
1.信息的基本概念在于它的 不确定性 。
2.按照信源发出的消息在时间和幅度上的分布情况,可将信源分成 离散 信源和连续 信源两大类。
3.一个随机事件的 自信息量 定义为其出现概率对数的负值。
4.按树图法构成的码一定满足 即时码的定义。
5. 有扰离散信道编码定理 称为香农第二极限定理。
6.纠错码的检、纠错能力是指 检测、纠正错误码元的数目 。
7.信道一般指传输信息的物理媒介,分为 有线 信道和 无线 信道。
8.信源编码的主要目的是 提高通信系统的有效性 。
二、选择题(共10分,每题2分)
1.给定xi条件下随机事件yj所包含的不确定度和条件自信息量p(yj/xi),(D)
A.数量上不等,单位不同 B.数量上不等,单位相同
C.数量上相等,单位不同 D.数量上相等,单位相同
2.条件熵和无条件熵的关系是:
(C)
A.H(Y/X)<H(Y) B.H(Y/X)>H(Y)
C.H(Y/X)≤H(Y) D.H(Y/X)≥H(Y)
3.根据树图法构成规则, (D)
A.在树根上安排码字 B.在树枝上安排码字
C.在中间节点上安排码字 D.在终端节点上安排码字
4.下列说法正确的是:
(C)
A.奇异码是唯一可译码 B.非奇异码是唯一可译码
C.非奇异码不一定是唯一可译码 D.非奇异码不是唯一可译码
5.下面哪一项不属于熵的性质:
(B)
A.非负性 B.完备性
C.对称性 D.确定性
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 信息论 编码 试题 答案