1、Chap1 思考题与习题 参考答案参考答案 1.1 信息论与编码技术研究的主要内容是什么？信息论是一门应用概率论、随机过程、数理统计和近代代数的方法，来研究广义的信息传输、提取和处理系统中一般学科。编码技术研究的主要内容是如何既可靠又有效地传输信息。1.2 简述信息理论与编码技术的发展简史。1948 年香农在贝尔系统技术杂志上发表了两篇有关“通信的数学理论”的文章。在这两篇论文中，他用概率论测度和数理统计的方法系统地讨论了通信的基本问题，得出了及格重要而带有普遍意义的结论，并由此奠定了现代信息论的基础。从 1948 年开始，信息论的出现引起了一些有名的数学家如柯尔洛夫、A.Feinstein、
2、J.Wolfowitz 等人的兴趣，他们将香农已得到的数学结论做了进一步的严格论证和推广，使这一理论具有更为坚实的数学基础。在研究香农信源编码定理的同时，另外一部分科学家从事寻找最佳编码（纠错码）的研究工作，并形成一门独立的分支纠错码理论。1959 年香农发表了“保真度准则下的离散信源编码定理”，首先提出了率失真函数及率失真信源编码定理。从此，发展成为信息率失真编码理论。香农 1961 年的论文“双路通信信道”开拓了网络信息论的研究。现在，信息理论不仅在通信、计算机以及自动控制等电子学领域中得到直接的应用，而且还广泛地渗透到生物学、医学、生理学、语言学、社会学、和经济学等领域。1.3 简述信息
3、与消息、信号的定义以及三者之间的关系。信息就是事物运动的状态和方式，就是关于事物运动的千差万别的状态和方式的知识。用文字、符号、数据、语言、音符、图像等能够被人们感觉器官所感知的形式，把客观物质运动和主观思维活动的状态表达出来成为消息。把消息变换成适合信道传输的物理量，这种物理量称为信号。它们之间的关系是：消息中包含信息，是信息的载体；信号携带消息，是消息的运载工具。1.4 简述一个通信系统包括的各主要功能模块及其作用。通信系统主要分成下列五个部分：（1）信息源。信源是产生消息和消息序列的源。（2）编码器。编码是把消息变换成信号的措施。（3）信道。信道是指通信系统把载荷消息的信号从甲地传到乙地
4、的媒介。（4）译码器。译码就是把信道输出的编码信号（已叠加了干扰）进行反变换。（5）信宿。信宿是消息传送的对象，即接收消息的人或机器。1.5 你有没有接触与考虑过信息与信息的测度问题，你如何理解这些问题？略。1.6 什么是事物的不确定性？不确定性如何与信息的测度发生关系？由于主、客观事物运动状态或存在状态是千变万化的、不规则的、随机的。所以在通信以前，收信者存在“疑义”和“不知”，即不确定性。用数学的语言来讲，不确定就是随机性，具有不确定性的事件就是随机事件。因此，可运用研究随机事件的数学工具概率论和随机过程来测度不确定性的大小。1.7 试从你的实际生活中列举出三种不同类型的通信系统模型，并说
5、明它们的信源、信道结构，写出它们的消息字母表、输入与输出字母表及它们的概率分布与条件概率分布。略。1.8 在你日常生活中出现过哪些编码问题？能否用编码函数给以描述？略。Chap2 思考题与习题 参考答案 2.1 同时扔一对均匀的骰子，当得知“两骰子面朝上点数之和为 2”或“两骰子面朝上点数之和为 8”或“两骰子面朝上点数是 3 和 4”时，试问这三种情况分别获得多少信息量？解解：同时扔一对均匀的骰子，可能呈现的状态数有 36 种，各面呈现的概率为 1/6，所以 36 种中任何一种状态出现的概率都是相等，为 1/36。（1）设“两骰子面朝上点数之和为 2”为事件 A。在 36 种情况中，只有一种
6、情况，即 1+1。则 2()1/36()log()log 365.17(P AI AP A=比特)（2）设“两骰子面朝上点数之和为 8”为事件 B。在 36 种情况中，有六种情况，即 5+3，3+5，2+6，6+2，4+4。则2()5/3636()log()log2.85(5P BI BP B=比特)（3）设“两骰子面朝上点数是 3 和 4”为事件 C。在 36 种情况中，有两种情况，即 3+4 和 4+3。则 2()2/36()log()log 184.17(P CI CP C=比特)2.2 同时掷两个均匀的骰子，也就是各面呈现的概率都是 1/6，求：(1)事件“3 和 5 同时出现”的自信
7、息量；(2)事件“两个 l 同时出现”的自信息量；(3)两个点数之和(即 2，3，12 构成的子集)的熵；(4)事件“两个骰子点数中至少有一个是 1”的自信息量。解解：同时掷两个均匀的骰子，也就是各面呈现的概率都是 1/6，总共有 36 种可能的状态，每 种状态出现的概率都是 1/36。（1）设“3 和 5 同时出现”为事件 A。则在 36 种状态中，有两种可能的情况，即 5+3 和 3+5。则 2()2/36()log()log 184.17(P AI AP A=比特)（2）设“两个 l 同时出现”为事件 B。则在 36 种状态中，只有一种可能情况，即 1+1。则：2()1/36()log(
8、)log 365.17(P BI BP B=比特)（3）设两个点数之和构成信源 Z,它是由两个骰子的点数之和组合，即 Z=Y+X.得：23456789101112()1/362/363/364/365/366/365/364/363/362/361/36()1ZP zP z=22222222()()log()468106log 36 log 2log 3log 4log 5log 63636363636261210log 36 log 3log 53636365.17 1.8963.274(ZH ZP zP z=+=+比特)2（4）在这 36 种状态中，至少有一个是 1 的状态共有 11 种，
9、每种状态都是独立出现的，每种状态初点的概率都是 1/36。设“两个点数中至少有一个是 1”为事件 C。则：2()11/3611()log()log1.71(36P CI CP C=比特)2.3 设离散无记忆信源1234012()3/81/41/41/8Xaaaap x=3=，其发出的消息为(202 120 130 213 001 203 210 110 321 010 021 032 011 223 210)，求：(1)此消息的自信息是多少？(2)在此消息中平均每个符号携带的信息量是多少?解解：（1）因为离散信源是无记忆的，所以它发出的消息序列中各个符号是无依赖的，统计独立的。因此，此消息的自
10、信息就等于各个符号的自信息之和。则可得：11222233244233(0)log()loglog1.45(881(1)log()loglog 4=2(41(2)log()loglog 4=2(41(3)log()loglog 8=3(8I aP aI aP aI aP aI aP a=比特)比特)比特)比特)此消息中共有 14 个符号“0”，13 个符号“1”，12 个符号“2”和 6 个符号“3”，则此消息的自信息是 12314(0)13(1)12(2)6(3)14 1.415 13 2 12 26 387.71(II aI aI aI a=+=+=+=+比特)4（2）此消息中共有 45 个
11、信源符号，携带了 87.81 比特信息量，因此，此消息中平均每个符号携带的信息量为 287.81/451.95(I=比特)2.4 有一个二元信源，计算该信源的熵。01()0.90.1Xp x=解=解：根据公式得该信源的熵为：22()(0)log(0)(1)log(1)0.9 log 0.90.1 log 0.10.4689(H XP xP xP xP x=比特/符号)2.5 设信源123456()0.20.190.180.170.160.17Xaaaaaap x=，求该信源的熵，并解释为什么在本题中 H(X)log6，不满足信源熵的极值性。解解：根据公式得信源熵为：()()log()log0.
12、2log0.20.19log0.190.18log0.180.17log0.170.16log0.160.17log0.172.65(/xiiiH XP xP xPP=比特 符号)由离散信源熵的特性可知，其有一个最大值，等概分布时达到最大值，最大值为 log q=log 6=2.58 比特/符号。现在 H（X）log 6,不满足信源熵的极值性，这是因为，我们讨论的信源的概率空间应该是一个完备集，即611iiP=,而在本题当中，611.071iiP=，不是完备集，所以不满足信源熵的极值性。2.6 每帧电视图像可以认为是由 3105 个像素组成，每个像素均是独立变化，若每个像素可取 128 个不同
13、的亮度电平，并设亮度电平等概率出现。问每帧图像含有多少信息量？若有一广播员在约 10000 个汉字的字汇中选 1000 个字来口述此电视图像，试问广播员描述此图像所广播的信息量是多少(假设汉字字汇是等概率分布，并彼此无依赖)？若要恰当地描述此图像，广播员在口述中至少需用多少汉字？解解：（1）亮度电平等概出现，即每个像素亮度信源为：128121281.()1()1/1281/128.1/128iiiXaaaP aP a=则每个像素亮度含有的信息量为：2()log 1287()H X=比特/符号 一帧图像每个像素均是独立变化的，则每帧图像信源就是离散亮度信源的无记忆 N 次扩展信源，得到每帧图像含
14、有的信息量为：56()()3 10()2.1 10NH XNH XH X=（比特/每帧）（2）同（1）中，汉字字汇信源为：1000012100001.()1()1/100001/10000.1/10000iiiXbbbP bP b=则每个汉字含有的信息量为：2()log 1000013.29()H Y=比特/字广播员口述电视图像是从此汉字字汇信源中独立的选取 1000 个字来描述的，所以广播员描述此帧图像所广播的信息量为：442()()1000log 101.329 10NH YNH Y=（比特/千字）（3）若广播员仍从此汉字字汇信源 Y 中独立选取汉字来描述电视图像，每次口述一次汉字含有的信
15、息量是 H(Y)，每帧电视图像含有的信息量是，则广播员口述次图像至少需要使用的汉字数为：()NH Y 65()2.1 101.58 10158000()13.29NH XH Y字)2.7 为了传输一个由字母 A、B、C、D 组成的符号集，把每个字母编码成两个二元码脉冲序列，以“00”代表 A，“01”代表 B，“10”代表 C，“11”代表 D。每个二元码脉冲宽度为 5ms。(1)不同字母等概率出现时，计算传输的平均信息速率?(2)若每个字母出现的概率分别为1/5，1/4，1/4，3/10，试计算传输的平均信息速率?解解：（1）不同字母等概率出现时，符号集的概率空间为：()1/41/41/41
16、/4iXABCDP a=平均每个字母含有的信息量为：2()log 42()H X=比特/符号 现在用两个二元码脉冲代表一个字母，每个二元码脉冲宽度为5ms=，则每个字母占用210tms=。一秒内可以传输的字母个数为：1100(/)nt=字母 秒 则传输的平均信息率为：()200(/RnH X=比特 秒)(2)字母出现概率不同时，根据题意可以其概率空间为：41()1()1/5 1/41/43/10iiiXABCDP aP a=此时每个字母含有的平均自信息量为：41()()log()1113log5log4log4log544101.985(/iiiH XP aP a=+比特 符号)103 同（1
17、），其传输的平均信息速率为：2()1.985 10/RnH X=(比特 秒)2.8 试问四进制、八进制脉冲所含的信息量是二进制脉冲的多少倍？解：解：二进制脉冲当中，共可以表示两种不同信息。假设两种不同信息等概分布，则每个二进制脉冲的信息量为：121log)(log222=xpI（比特/脉冲）同理，在四进制脉冲当中，共可以表示四种不同信息。假设四种不同信息等概分布，则每个四进制脉冲含有的信息量为：241log)(log224=xpI（比特/脉冲）同理，在八进制脉冲当中，共可以表示八种不同信息。假设八种不同信息等概分布，则每个八进制脉冲含有的信息量为：381log)(log228=xpI（比特/脉
18、冲）从上可知，四进制脉冲所含的信息量是二进制脉冲的 2 倍，八进制脉冲所含的信息量是二进制脉冲的 3倍。2.9 国际摩尔斯电码用点和划的序列发送英文字母，“划”用持续三个单位的电流脉冲表示，“点”用持续一个单位的电流脉冲表示。其中“划”出现的概率是“点”出现概率的 1/3。计算：(1)点和划的信息量；(2)电码信源的平均信息量。解解：（1）根据题意：)()(31划点=xpxp，而 1)()(划点=xpxp （完备集）所以：41)(43)(划，点=xpxp“点”含有的信息量为：=43logp(x)logI2210.415（比特）“划”含有的信息量为：241log)(log222=xpI（比特）（
19、2）电码信源的平均信息量为：=43log4341log41)(log)()(22212iiixpxpXH2.415（比特/符号）2.10 某一无记忆信源的符号集为0，1，已知(0)1/4,(1)3/4=pp。(1)求信源的熵。(2)由 100 个符号构成的序列，求某一特定的序列(例如有个“0”和100个“1”)的自信息量的表达式。mm(3)计算(2)中的序列的熵。解解：（1）信源熵为：222211133()()log()loglog0.8114444iiiH Xp xp x=（比特/符号）（2）241log)0(log)0(22=xpxI（比特）415.043log)1(log)1(22=xp
20、xI（比特）自信息量表达式为：=+=)1()100()0(xImxImI41.5+1.585m（比特）（3）因为是无记忆信源，所以序列中 100 个符号相互独立，为 100 次扩展信源，其熵为：100()100()81.1(/H XH X=比特 符号序列)2.11 一个随机变量 x 的概率密度函数()=p xkx，02xV，试求该信源的相对熵。解解：信源的相对熵也就是信源的差熵，根据其定义式得：2220222202()()log()log211log|0222 log 2(/ln2Rh Xp xp x dxkxkxdxkkln2xkxx kdxkxkkkBit=+=+自由度)2.12 给定语音
21、信号样值x的概率密度为1()2xp xe=，x,(1)要661046.3)101log(100.1)1log(=+=+=nsPPWC（bit/s）(2)666log(1)3.46 10(/)log(1 5)3.46 101.338 101.338()snPCWbit sPWWHzMH=+=+=z(3)666log(1)3.46 10(/)0.5 10log(1)3.46 10120snsnsnPCWbit sPPPPP=+=+=Chap4 思考题与习题 参考答案参考答案 4.1 设无记忆信源1,0,1()1 3,1 3,1 3Xp x=，接收符号集AY=1212,，失真矩阵121121D=，试
22、求：和及达到，时的转移概率矩阵。DmaxDminDmaxDmin解：max1122114min()(,)min,3333333UvP u d uD=+=而最小平均失真 3min11()min(,)1 1 113iijiPduuD=+=max 达到的信道为 D10011(|)10,0110110011jiPu =或，达到的信道为 minD10101011(|)01,1022010101jiPu =或 4.2 已知二元信源0,1(),1Xp xpp=以及失真矩阵0110ijd=，试求：(1)；(2)；(3)。DminDmaxR D()解：（1）min*00*(1)0ppD=+=达到的信道为一个一一
23、对应的无噪信道，所以：R(0)=I(U;V)=H(U)=H(p)Dmin(2)最大允许失真度为 maxmin()(,)min(,(1)UP u d uppD=如果p1/2,=1-p maxD(3)因为是二元对称信源，所以：()()()0R DH pH DDp=4.4 设一个四元等概信源，接收符号集为0123()0.50.50.50.5Xp x=0,1,2,3YA=，失真矩阵定义为，求及信源的0111101111011110D=maxmin,DD()R D函数，并作出率失真函数曲线(取4到5个点)。解：最大允许失真度为：max13min()(,)min(,(1)14UP u d upprD=最小
24、允许失真度：min0D=因为是四元对称信源，又是等概率分布，所以根据r元离散对称信源可得：3log4-Dlog3-H(D)0D4R(D)=30 D4 为画出其曲线，取 D=0 R(D)=2 1D=R(D)=1.2583 81D=R(D)=0.7925 41D=R(D)=0.7952 23D=R(D)=0.2075 5比特符号比特符号比特符号比特符号 3D=R(D)=0 4比特符号比特符号 得如图所示的R(D)曲线图 4.5 某二元信源，其失真矩阵定义为01()0.50.5Xp x=00aDa=，求该信源的，和maxDminD()R D函数。解：最大允许失真度为：max1111min()(,)m
25、in(*0*,*1*)2222UaP u d uaaD=+=2 最小允许失真度 min0D=我们引进一个“反向”试验信道，设反向信道的信道矩阵为：11DDPDD 可计算得：11(0),(1)22PP=因为0,0()2DP1/2 4.6 具有符号集Uu0，u1的二元信源，信源发生概率为：p(u0)=p，p(u1)=1-p，。信道如下图所示，接收符号集V=v01p0，v1，转移概率为：00()q v u1=，11()1q v uq=。发出符号与接收符号的失真：d(u0，v0)=d(u1，v1)=0，d(u1，v0)=d(u0，v1)=1。(1)计算平均失真D(2)率失真函数 R(D)的最大值是什么
26、？当 q 为什么值时可达到该最大值？此时平均失真 D 是多大？(3)率失真函数 R(D)的最小值是什么？当 q 为什么值时可达到该最小值？此时平均失真 D 是多大？(4)画出 R(D)-D 的曲线。解：（1）(,)(,)(1)UVDP ud up=q（2）根据题4.5，可知R(D)的最大值为H(p),此时q=0,平均失真D=0;（3）R(D)的最大值为0,此时q=1,平均失真D=（1-p）;4.7 设连续信源X，其概率密度分布为|()2a xap xe=失真度为，试求此信源的(,)|d x yxy=()R D函数。解：解：令xy=|(),(1)2|1|,(2)2ssssssdsDdsegeee
27、+=求出()sg的傅立叶变换 22222()(),(3)()()(),(4)jwsswdQ wP wP wsgGeswws+=+=+得:求式（4）的傅立叶反变换，又根据式（2）得 232|()()(),(5)(),(6)22a xa xp yp xyxyap yeepDaD=所以 2()()()()1loglog2(2)LsR DDh uhaegReD=当（5）式大于零时，21()loglog2(2)R DaeeD=4.8 利用()R D的性质，画出一般()R D的曲线并说明其物理意义？试问为什么()R D是非负且非增的？解：物理意义：D是允许的失真度。R(D)是对应于D的一个确定信息传输率。
28、对于不同的允许失真D,R(D)就不同。R(D)的非负性：根据 R(D)的定义知，R(D)是在一定的约束条件下，平均互信息 I(U;V)的极小值。已知 I(U;V)是非负的，其下限值为零。由此可得，R(D)也是非负的，它的下限值也为零。R(D)的非增性也是容易理解的。因为允许的失真度越大，所要求的信息率可以越小。根据 R(D)的定义，它是在平均失真度小于或等于允许失真度 D 的所有信道集合 BD 中，去 I(U;V)的最小值。当允许失真度 D 扩大，那么 BD 的集合也扩大，当然仍包含原来满足条件的所有信道。这时再扩大的 BD 集合中找 I(U;V)的最小值，显然是或者最小值不变，或者变小，所以
29、 R(D)是非增的。4.9 设有矢量信源，其各分量()XNkk,02，kK=12,?，是K个独立的随机变量，失真，试证：在此条件下()(=KkkkKKxxxxxxxxd122121;?)R DDkkkK()log=1221 其中，Dkkkk=,当当222满足 DDkkK=1证明：()min(;)mmR DIXX=()111()111()12()1(;)()(|()(|,)()(|)(|)()1max log,0,(1)2mmmmmmmamiiiiimmbmiiiimiimciimdiiIhhhhhhiIiRDXXX)XXxx xxxxxxxD=其中2(iEiXD)X=，上式推导中（a）熵计算的
30、链法则，（b）条件减少使熵增大，(c)率失真函数定义，（d）高斯变量的率失真函数。式中有两个不等号，其中（b）1(|)(|)mmiiiiqqx xx x=当时，等号成立。(c)当每个时，等号成立。2(0,)iiiNDX所以式（1）的等号是可以达到的。进一步对于各分量分配失真量使速率进一步减小，即求 1211()minmax log,02miimiiDR DDD=利用拉格朗日乘子寻找最佳失真分配方案，为此构成目标函数 2111()log2mmiiiiJ DDD=+对微分且令之为零，得 iD1 102iiJDDmDD=+=或 这表示当失真分配给各分量时，最佳分配方案是每个分量等失真。但这仅当2mi
31、niiDm时才可行，当某个分量的2i小于Dm时就不行了，必须利用 K-T 条件来解，即选使220,1 120,iiiiiJDDDD=+所以 R DDkkkK()log=1221 其中，Dkkkk=Ct 根据信道编码定理，不论进行任何编码此信源不可能在此信道中实现无错误地传输，所以信源在此信道中传输会引起错误和失真。（2）若设此信源的失真度为汉明失真。因为是二元信源，输入是等概率分布，所以信源的信息率失真函数 R(D)=1-H(D)比特/信源符号 Rt(D)=2.66*R(D)比特/秒 若当 Ct=Rt(D)则此信源在此信道中传输时不会引起错误，也就是不会因信道而增加信源新的失真。总的信源的失真
32、是信源压缩编码所造成的允许失真 D 所以有 2=2.66*1-H(D)2.66H(D)=0.66 H(D)0.2481 故 D0.0415 允许信源平均失真 D0.0415 时，此信源就可以在此信道中传输。Chap5 思考题与习题 参考答案 5.1 将下表所列的信源进行六种不同的二进制编码，试问：消息 概率 C1C2C3C4C5C6a1a2a3a4a5a61/2 1/4 1/16 1/16 1/16 1/16 000 001 010 011 100 101 0 01 011 0111 01111 0111110 10 110 1110 11110 1111100 10 1101 1100 10
33、01 1111 1 000 001 010 110 110 01 001100101110111(1)这些码中哪些是唯一可译码?(2)哪些码是非延长码(即时码)?(3)对所有唯一可译码求出其平均码长和编码效率。解：解：（1）C1、C2、C3、C6是唯一可译码。（2）C1、C3、C6是非延长码(即时码)。（3）唯一可译码平均码长为：1()qiiiLp s l=所以：13cL=（码符号/信源符号）22.125cL=（码符号/信源符号）32.125cL=（码符号/信源符号）52cL=（码符号/信源符号）1()0.667cH SL=，20.94c=，30.94c=，60.8c=，5.2 下面的码是否是即时码？是否是惟一可译码？(1)；(2)1111,1110,1101,1100,10,0=C1101,1011,1110,110,10,0=C.解：解：（1）是即时码，唯一可译码。（2）不是即时码，也
