1、 1 北京邮电大学 20102011 学年第 一 学期北京邮电大学 20102011 学年第 一 学期 信息论期末考试试题（A 卷）标准答案 姓名 班级 学号 分数 注：所有答案均写在答题纸上，试卷和答题纸一起上交。注：所有答案均写在答题纸上，试卷和答题纸一起上交。一、判断题（正确打一、判断题（正确打，错误打，错误打）（共 10 分，每小题 1 分）（共 10 分，每小题 1 分）（1）输出符号等概率的信源的剩余度为零。()（2）总存在一种有损信源编码，使得当码率 R R（D）时，平均失真 小于等于D；()（3）平均互信息 I(X;Y)不大于条件平均互信息 I(X;Y|Z)；()（4）差熵为零
2、的连续信源的平均不确定性为零；()（5）级联信道的容量不大于构成该级联信道的任意一个信道的容量；()（6）对于有限状态马氏链，无论初始状态概率分布如何，最终总会达到 状态的平稳分布；()（7）两独立随机变量和的熵功率不小于这两个随机变量熵功率的和；()（8）在信息处理过程中，处理的次数越多得到的信息量也就越大；()（9）离散信源经过一一对应的变换后熵不变；()（10）随着信源序列长度的增加，非典型序列的出现的概率趋近于零。()二、二、填空题（共 20 分，每空 2 分）1.设X的概率密度函数为：(),0,0 xp xex，则差熵()h X=log(e/)，熵功率为 e/(22)；2 设X概率密
3、度函数为：22()21(),2x mp xe则(23)hX=(1/2)log(8e2)；若Y为任意满足2(),()E Ym Var Y的连续随机变量，且()q x为其概率密度函数，则()log()q xp x dx=(1/2)log(2e2)；2 3设一齐次马氏链12,.XX，各iX取值于符号集123a,a,a，状态转移概率矩阵为：1/21/41/42/301/302/31/3，则状态平稳分布为1=2/5，2=3/10；3=3/10，该马氏链的符号熵为 (2/5)H(1/2,1/4,1/4)+(3/5)H(1/3)=1.151 比特/符号。4设试验信道输入与输出符号集均为1 2 3,4,，输入
4、概率分别为 1/2，1/4，1/8，1/8，失真测度为,1,42d(i,j)=(i-j)i j；则minD 0 ，maxD 9/8=1.125 。三、简答题（10 分）三、简答题（10 分）某并联高斯噪声信道由 4 个独立子信道组成，子信道方差如右图所示，其中 1、2、3、4 子信道的方差分别为 2、1、4、3；（1）达到容量时，信道输入应该是何种分布？各子信道的 输入是否统计独立？(1+1 分)并联高斯噪声信道的示意图 （2）信道达到容量时，其输入总能量的分配遵循什么原理？当这个输入总能量从 0 逐渐增加时，各子信道被分配到能量的先后顺序如何？如果输入总能量为 6，各子信道被分配到的能量(E
5、i，i=1,2,3,4)分别为多少？(2+2+2 分)（3）设输入总能量大于 0，当信道达到容量时，各子信道的输入信噪比（SNRi，i=1，2，3，4）从大到小的顺序如何？(即将各子信道的输入信噪比用或符号连接起来)(2 分)答答：（1）达到容量时，信道输入应该是高斯分布，各子信道的输入统计独立；(1+1 分)（2）信道达到容量时，其输入总能量的分配遵循注水原理；(2 分)各子信道被分配到能量的先后顺序为：信道 2信道 1信道 4信道 3；(2 分)各子信道被分配到能量分别为:E1=2,E2=3,E3=0,E4=1 (2 分)（3）各子信道的输入信噪比从大到小的顺序:SNR2SNR1SNR4S
6、NR3 (2 分)四、计算题四、计算题(12 分)设一个离散无记忆信道的输入、输出符号集均为0,1,2,3，信道的概率转移矩阵为 123422212324 3 01230 100110020013001P 其中，1/31/2。设输入符号的概率分别为(0)1/2,(1)1/4pp,(2)1/8p,(3)1/8p。求：最佳译码准则的判决函数和平均译码错误率。(8+4 分)解：解：信道输入符号不等概率，最佳译码准则为最大后验概率(MAP)准则，写出信道的联合概率转移矩阵为：01230(1)/2/2001/4(1)/400200(1)/8/8300/8(1)/8P (4 分)1/31/21/212/3
7、 1 /4(1)/2和/8(1)/8；在联合概率转移矩阵每列选择最大的 元素，形成最佳判决函数为：(0)0,(1)0,(2)2,(3)3G yG yG yG y，(4 分)平均译码错误率：1(1)/2/2(1)/8(1)/8(1)/4Ep。(4 分)五、计算题（20 分）五、计算题（20 分）1设信源模型为010.90.1XP，每秒发出 3.5 个信源符号，将此信源的输出通过某一个二元一一对应信道传输，且每秒只传送两个符号；(1)若要求信息无失真传输，信源能否不进行编码而直接与信道相接？(3 分)(2)能否采用适当的编码方式然后通过信道进行无失真传输？为什么？(2+3 分)(3)确定一种编码方
8、式并进行编码，使得传输满足不失真要求；同时请说明信源采用这 种编码后，编码器输出与信道输入之间应设置何种装置？(10+2 分)解 4(1)信源符号速率 3.5 大于信道传输速率 2，所以信源直接与信道相接，不能保证无失真传输。(3 分)(2)采用适当的编码方式可以通过信道进行无失真传输。(2 分)()(0.1)0.1 log0.10.9log0.90.469H XH 比特/符号 信源熵率为(/)()3.51.6415/H b sH Xb s，二元无噪信道容量为(/)2/C b sb s。因为(/)(/)H b sC b s，所以根据信源信道编码定理可知，采用适当的编码方式然后通过信道可实现无失
9、真传输。(3 分)(3)将信源的 2 次扩展源进行 Huffman 编码，结果为：2 次扩展信源符号 概 率 编 码 00 0.81 0 01 0.09 10 10 0.09 110 11 0.01 111 计算每信源符号平均码长为：(10.190.10)/20.645l，编码器每秒输出符号数为：3.50.6452.25752,所以传输不满足失真要求。(5 分)将信源的 3 次扩展源进行 Huffman 编码，结果为：3 次扩展信源符号 概 率 编 码 000 0.729 0 001 0.081 100 010 0.081 101 100 0.081 110 011 0.009 11100 1
10、01 0.009 11101 110 0.009 11110 111 0.001 11111 平均码长 0.5327 计算每信源符号平均码长为：0.5327l，编码器每秒输出符号数为：3.50.53271.86442,所以传输满足不失真要求。(5 分)由于这种编码所得是变长码，因此在编码器与信道之间应设置缓冲器。(2 分)六、计算题（16 分）六、计算题（16 分）一黑白电视画面由53 10个像素组成，其中每个像素独立等概率地选取 10 个不同的灰 度电平。系统对每幅画面进行独立编码，形成视频信号，再通过一个8010/NW Hz的AWGN 信道传送，每秒传送 30 幅画面，信噪比为 30dB；
11、5 （1）求每幅画面所含信息量和系统的信息传输速率；(2+1 分)（2）设信道带宽为 6MHz，求 AWGN 信道容量；(3 分)（3）求为实现电视信号可靠传输信道所需的最小带宽和对应的信号平均功率；(3+2 分)（4）求信息传输速率达到容量时的频谱利用率和对应的0/()bENdB。(3+2 分)解 解 信噪比换算：/1030/1010101000SNR dBSNR （1）每幅画面所含信息量：30000052log 109.97 10Hbit (2 分)信息传输速率：30000023030 log 1029.90RHMbps (1 分)（2）AWGN 信道容量：622log(1)6 10log
12、(1 1000)59.80CWSNRMbps (3 分)（3）根据高斯信道编码定理，有 2log(1)RWSNR6229.90 10log(1 1000)W3WMHz 所以，信道所需的最小带宽为3MHz，(3 分)设对应的信号平均功率为P，00/()SNRPN W 86001000 103 1030PSNRN WW (2 分)（4）所求频谱利用率 22/log(1)log(1 1000)9.97/R WSNRbps Hz (3 分)021/100.4920.02bENdB (2 分)七、计算题（12 分）七、计算题（12 分）一个离散无记忆二元乘性信道输入为X，其中Z独立于X；X、Z取值均为
13、0 或 1，且(1),(01)Zp，信道输出Y=XZ；求 6（1）信道的转移概率矩阵；(6 分)（2）信道容量。(6 分)解 解 （1）:(|)(|)(|)(|)()Zzzz y xzp y xp yz xp z x p y zxpz|(0|0)(0)(1)1Y XZZppp，(2 分)|(0|1)(0)1Y XZpp，(2 分)|(1|1)(1)Y XZpp；(2 分)X-Y 信道为 Z 信道，信道转移概率矩阵为101P，（2）12010()1H，(2 分)解得，120()/H (2 分)信道容量：()/2log(12)HC比特，(2 分)或 (1)/log1(1)C 其中，22()log(1)log(1)H 注：如果用其它方法求容量，只要正确就得 6 分，否则酌情给分。本试卷主要参考公式：本试卷主要参考公式：122()1e2h Xe 2.(|)(;)(|)log()yp y xI x Yp y xp y 3.21log2krkC
