1、信息论与编码技术复习提纲复习题信息论与编码技术复习提纲复习题纲第0章 绪论题纲：I.什么是信息？ II.什么是信息论？ III.什么是信息的通信模型？ IV.什么是信息的测度？ V.自信息量的定义、含义、性质需掌握的问题：1.信息的定义是什么？（广义信息、狭义信息Shannon信息、概率信息） 2.Shannon信息论中信息的三要素是什么？ 3.通信系统模型图是什么？每一部分的作用的是什么？ 4.什么是信息测度？5.什么是样本空间、概率空间、先验概率、自信息、后验概率、互信息？6.自信息的大小如何计算？单位是什么？含义是什么（是对什么量的度量）？ 第1章 信息论基础离散信源题纲：I.信源的定义
2、、分类II.离散信源的数学模型III.熵的定义、含义、性质，联合熵、条件熵IV.离散无记忆信源的特性、熵 V.离散有记忆信源的熵、平均符号熵、极限熵 VI.马尔科夫信源的定义、状态转移图VII.信源的相对信息率和冗余度需掌握的问题：1.信源的定义、分类是什么？2.离散信源的数学模型是什么？ 3.信息熵的表达式是什么？信息熵的单位是什么？信息熵的含义是什么？信息熵的性质是什么？4.单符号离散信源最大熵是多少？信源概率如何分布时能达到？5.信源的码率和信息率是什么，如何计算？6.什么是离散无记忆信源？什么是离散有记忆信源？ 7.离散无记忆信源的数学模型如何描述？信息熵、平均符号熵如何计算？8.离散
3、有记忆多符号离散平稳信源的平均符号熵、极限熵、条件熵（N阶熵）的计算、关系和性质是什么？9.什么是马尔科夫信源？马尔科夫信源的数学模型是什么？马尔科夫信源满足的2个条件是什么？10.马尔科夫信源的状态、状态转移是什么？如何绘制马尔科夫信源状态转移图？ 11.马尔科夫信源的稳态概率、稳态符号概率、稳态信息熵如何计算？ 12.信源的相对信息率和冗余度是什么？如何计算？离散信道题纲：I.信道的数学模型及分类 II.典型离散信道的数学模型III.先验熵和后验熵IV.互信息的定义、性质 V.平均互信息的定义、含义、性质、维拉图VI.信道容量的定义VII.特殊离散信道的信道容量需掌握的问题：1.信道的定义
4、是什么？信道如何分类？信道的数学模型是什么？ 2.二元对称信道和二元删除信道的信道传输概率矩阵是什么？ 3.对称信道的信道传输概率矩阵有什么特点？ 4.根据信道的转移特性图，写出信道传输概率矩阵。5.先验熵、后验熵的区别？6.联合熵、条件熵和信息熵的关系。7.互信息的大小如何计算？互信息的性质是什么？ 8.联合互信息、条件互信息、互信息之间的关系是什么？ 9.平均互信息的定义是什么？平均互信息的含义？平均互信息的性质？10.联合平均互信息、条件平均互信息和平均互信息的关系？11.损失熵和噪声熵的含义是什么？维拉图表示了哪些关系式？12.信道的传码率和传信率（信息率）的计算方法是什么？13.信道
5、容量的定义是什么？信道容量的含义如何理解？ 14.无噪无损信道、有噪无损信道、无噪有损信道、对称信道的信道容量如何计算？ 连续信源和波形信道题纲：I.连续信源的定义、数学模型、绝对熵、相对熵 II.给定条件下，连续信源的最大熵III.熵功率 IV.连续信道和波形信道的信道容量需掌握的问题：1.连续信源定义、数学模型是什么？2.连续信源熵的表达式是什么？相对熵和绝对熵的区别是什么？ 3.如何计算均匀分布、正态分布连续信源的最大熵？ 4.什么是波形信道？了解波形信道互信息、信道容量的求解思路。5.香农公式是什么？物理意义是什么？第2章 无失真信源编码题纲：I.基本概念 1.编码 2.二元码 3.等
6、长码 4.变长码 5.码的N次扩展码 6.唯一可译码 II.等长码 III.变长码 IV.无失真信源编码定理 V.编码方法 1.香农编码 2.费诺编码 3.霍夫曼编码 需掌握的问题：1.编码的定义及编码相关术语。2.信源编码的定义及目的是什么？3.解释二元码、等长码、变长码、唯一可译码。 4.变长码和定长码的区别是什么？用码树描述二者的差异，能够说明变长码和定长码各自的优劣。 5.描述香农第一定理及意义。 6.掌握香农编码、费诺编码、霍夫曼编码的步骤及特点，会计算编码效率。 7.了解游程编码和算术编码的思路。第3章 信道编码题纲：I.检错、纠错原理及方法、能力 II.差错控制理论1.译码规则
7、2.2种准则下的错误概率 III.信道编码定理IV.编码方法1.简单的检错、纠错码2.线性分组码3.循环码需掌握的问题：1.信道编码的定义及目的是什么？2.检错原理是什么？3.差错控制方法有哪些？4.如何确定一种编码的检错、纠错能力？5.汉明距离是什么？汉明重量是什么？最小码距是什么？6.信道编码的效率如何确定？ 7.奇偶校验码的编码规则是什么？检错、纠错能力如何？ 8.译码规则的定义是什么？9.最大后验准则是什么？极大似然准则是什么？这两种准则下如何计算错误概率？10.错误概率与损失熵之间的关系是什么？11.描述香农第二定理及意义。12.线性分组码的编码原理和校验原理是什么？13.循环码的编
8、码原理和校验原理是什么？14.了解循环冗余校验码和卷积码的编码思路。第4章 信息率失真函数题纲：V.失真度 VI.平均失真度 VII.信息率失真函数 VIII.信息率失真函数的性质 IX.限失真信源编码定理需掌握的问题：1.失真度如何表示？ 2.四种常见失真度的形式分别是什么？分别用于什么场合？ 3.平均失真度如何计算？4.什么是保真度准则？5.什么是试验信道？ 6.信息率失真函数的定义是什么？ 7.信息率失真函数和信道容量的区别和联系是什么？ 8.信息率失真函数的性质是什么？9.定义域Dmin, Dmax，以及相应的R(Dmin), R(Dmax)如何计算？ 10.描述香农第三定理及意义。
9、11.了解预测编码和变换编码的思路。 一、填空题1.设信源X包含4个不同离散消息，当且仅当X中各个消息出现的概率为_1/4_时，信源熵达到最大值，为_2_，此时各个消息的自信息量为_2 _。2.如某线性分组码的最小汉明距dmin=4，则该码最多能检测出_3_个随机错，最多能纠正_1_个随机错。存在_的充要条件。4.平均互信息量I(X;Y)与信源熵和条件熵之间的关系是_(X;Y)=H(X)-H(X/Y)_。5._信源_提高通信的有效性，_信道_目的是提高通信的可靠性，_加密_编码的目的是保证通信的安全性。6.信源编码的目的是提高通信的 有效性 ，信道编码的目的是提高通信的 可靠性 ，加密编码的目
10、的是保证通信的 安全性 。7.设信源X包含8个不同离散消息，当且仅当X中各个消息出现的概率为_1/8_时，信源熵达到最大值，为_3_。8.自信息量表征信源中各个符号的不确定度，信源符号的概率越大，其自信息量越_小_。9.信源的冗余度来自两个方面，一是信源符号之间的_相关性_，二是信源符号分布的_不均匀性_。10.最大后验概率译码指的是 译码器要在已知r的条件下找出可能性最大的发码 作为译码估值 ，即令 =maxP( |r)_ _。前向纠错_、反馈重发和混合纠错三种。二、单项选择题1.下面表达式中正确的是（A ）。A. B.C. D.105 个像元，设每个像元有64种彩色度，每种彩度又有16种不
11、同的亮度层次，如果所有的彩色品种和亮度层次的组合均以等概率出现，并且各个组合之间相互独立。每秒传送25帧图像所需要的信道容量（C ）。A. 50106 B. 75106 C. 125106 D. 2501063.已知某无记忆三符号信源a,b,c等概分布，接收端为二符号集，其失真矩阵为d=,则信源的最大平均失真度为（ D ）。A. 1/3 B. 2/3 C. 3/3 D. 4/3 4.线性分组码不具有的性质是（ C ）。A.任意多个码字的线性组合仍是码字B.最小汉明距离等于最小非0重量C.最小汉明距离为3D.任一码字和其校验矩阵的乘积cmHT=05.率失真函数的下限为（ B）。6.纠错编码中，下
12、列哪种措施不能减小差错概率（ D ）。A. 增大信道容量 B. 增大码长 C. 减小码率 D. 减小带宽7.一珍珠养殖场收获240颗外观及重量完全相同的特大珍珠，但不幸被人用外观相同但重量仅有微小差异的假珠换掉1颗。一人随手取出3颗，经测量恰好找出了假珠，不巧假珠又滑落进去，那人找了许久却未找到，但另一人说他用天平最多6次能找出，结果确是如此，这一事件给出的信息量（ A ）。A. 0bit B. log6bit C. 6bit D. log240bit8.下列陈述中，不正确的是（ D ）。A.离散无记忆信道中，H（Y）是输入概率向量的凸函数C.一般地说，线性码的最小距离越大，意味着任意码字间的
13、差别越大，则码的检错、纠错能力越强9.一个随即变量x的概率密度函数P(x)= x /2，则信源的相对熵为（ C ）。10.下列离散信源，熵最大的是（ D ）。A. H（1/3,1/3,1/3）； B. H（1/2,1/2）； C. H（0.9,0.1）； D. H（1/2,1/4,1/8,1/8)11.下列不属于消息的是（ B ）。12.为提高通信系统传输消息有效性，信源编码采用的方法是（ A ）。13.最大似然译码等价于最大后验概率译码的条件是（ D ）。A.离散无记忆信道 B.无错编码 14.下列说法正确的是（ C ）。A.等重码是线性码 C.码的最小汉明距离等于码的最小非0重量 15.二
14、进制通信系统使用符号0和1，由于存在失真，传输时会产生误码，用符号表示下列事件，u0:一个0发出 u1:一个1发出 v0 :一个0收到 v1:一个1收到 则已知收到的符号，被告知发出的符号能得到的信息量是（ A ）。A. H(U/V) B. H(V/U) C. H(U,V) D. H(UV)16. 同时扔两个正常的骰子，即各面呈现的概率都是1/6，若点数之和为12，则得到的自信息为（ B ）。A. log36bit B. log36bit C. log (11/36)bit D. log (11/36)bit17.下列组合中不属于即时码的是（ A ）。A. 0，01，011 B. 0，10，1
15、10 C. 00，10，11 D. 1，01，0018.已知某（6，3）线性分组码的生成矩阵，则不用计算就可判断出下列码中不是该码集里的码是（ D ）。A. 000000 B. 110001 C. 011101 D. 11111119.一个随即变量x的概率密度函数P(x)= x /2，则信源的相对熵为（ C ）。20.设有一个无记忆信源发出符号A和B，已知，发出二重符号序列消息的信源，无记忆信源熵 为（ A ）。三、判断题1.确定性信源的熵H(0,0,0,1)=1。 （ 错 ） 2.信源X的概率分布为P(X)=1/2, 1/3, 1/6，对其进行哈夫曼编码得到的码是唯一的。 （ 错 ）3.离散
16、无记忆序列信源中平均每个符号的符号熵等于单个符号信源的符号熵。 （ 对 ）4.非奇异的定长码一定是唯一可译码。 （ 错 ）5.信息率失真函数R(D)是在平均失真不超过给定失真限度D的条件下，信息率容许压缩的最小值。 （ 对 ）6.信源X的概率分布为P(X)=1/2, 1/3, 1/6，信源Y的概率分布为P(Y)=1/3,1/2,1/6，则信源X和Y的熵相等。 （ 对 ） 7.互信息量I(X;Y)表示收到Y后仍对信源X的不确定度。 （ 对 ）8.对信源符号X=a1,a2,a3,a4进行二元信源编码，4个信源符号对应码字的码长分别为K1=1，K2=2，K3=3，K3=3，满足这种码长组合的码一定是
17、唯一可译码。 （ 错 ） 9.DMC信道转移概率矩阵为，则此信道在其输入端的信源分布为P(X)=1/2,1/2时传输的信息量达到最大值。 （ 错 ）10.设C = 000000, 001011, 010110, 011101, 100111, 101100, 110001, 111010是一个二元线性分组码，则该码最多能检测出3个随机错误。 （错 ）四、名词解释1.极限熵:2.信道容量:3.平均自信息量:五、计算题1.设离散无记忆信源（1）根据“离散无记忆信源发出的消息序列的自信息等于消息中各个符号的自信息之 和”，求此消息的自信息量；（2）在此消息中平均每个符号携带的信息量是多少？2.已知一
18、个二元信源连接一个二元信道，如图所示。其中，。试求：I(X,Y)，H(X,Y)，H(X/Y)，和H(Y/X)。 3.设输入信号的概率分布为P=(1/2,1/2)，失真矩阵为。试求Dmin，Dmax，R(Dmin)，R(Dmax)。 共有6个符号消息，其概率分布为=0.37，0.25，0.18，0.10，0.07，0.03。（1）对这6个符号进行二进制哈夫曼编码（给出编码过程），写出相应码字，并求出平均码长和编码效率。 （2）哈夫曼编码的结果是否唯一？如果不唯一，请给出原因。5.二进制通信系统使用符号0和1，由于存在失真，传输时会产生误码，用符号表示下列事件。x0：一个0发出；x1：一个1发出y
19、0：一个0收到；y1：一个1收到给定下列概率：p(x0)=1/2，p(y0/x0)=3/4，p(y0/x1)=1/2。（1）求信源的熵H(X)；（2）已知发出的符号，求收到符号后得到的信息量H(Y/X)；（3）已知发出和收到的符号，求能得到的信息量H(X,Y)。6.设DMC信道的传输情况如下图所示。 （1）试写出该信道的转移概率矩阵；（2）求该信道的信道容量。 7.设输入信号的概率分布为P=(1/2,1/2)，失真矩阵为。试求，。 8.设有离散无记忆信源共有5个符号消息，其概率分布为=0.4，0.2，0.2，0.1，0.1。（1）对这5个符号进行二进制哈夫曼编码（给出编码过程），写出相应码字，
20、并求出平均码长和编码效率； （2）哈夫曼编码的结果是否唯一？如果不唯一，请给出原因。 信托与租赁期末复习7问答题1、简述现代租赁与分期付款的区别。答：现代融资租赁与分期付款在还款形式上有相似之处，租赁是由承租人分期向出租人支付租金。分期付款中是由买方向卖方分期支付货款，都是资金的分期支付。但分期付款是商业信用，与融资租赁有性质上的根本区别。 分期付款一开始就是对所有权的交易，即买方在支付第一笔款项后，就获得了设备的所有权，而融资租赁的承租人在整个租赁期内只获得了设备的使用权。 分期付款签订的是买方和卖方购货合同，而在租赁中，承租人与出租人之间签订的是租赁合同，租赁中涉及的购货合同是由出租人根据
21、承租人指定的设备及其条件与供货人签订。 在分期付款中，设备的所有权与使用权都属于购货方，而在租赁时设备的所有权与使用权则分别属于出租人与承租人。 分期付款和租赁在会计处理税收待遇等方面也有很大区别。在会计处理上，分期付款属于所有权的转移，买方应为此设置相应的资产帐户，并提取折旧，税收上享受买卖交易待遇，而租赁在租赁期内不涉及所有权的问题，因此承租人一般不必设置资产帐户，在税收上可以享受租赁的好处。 2、结合我国的实际，谈谈投资基金的作用、机构设置及其在我国的发展。 答：（1）投资基金的作用 分散风险 专家决策 确保投资者获得稳定收益 提供多样服务 此外，投资基金对企业来说也有很多便利。企业不仅
22、可以稳定地取得高于银行存款的收益，企业主管还可以把精力集中放在企业本身的经营管理上。而且，由于基金受益凭证具有较高流动性，企业就能在财务上有效地控制现金流动，从而优化了企业财务管理。 （2）投资基金的机构设置及其职能 投资公司 基金经理公司 基金保管公司 销售公司 投资顾问公司（3）我国投资基金的发展我国信托机构在80年代开始经营投资信托业务，当时委托人与受益人均以法人团体为主体，并且在方式上也以直接参与为主，即直接对某企业或某建设项目进行单独投资，或者参与合资企业的投资和收益分配。1991年开始出现投资于金融市场的投资基金。1997年底颁布的投资基金管理条例加速了我国证券投资基金的诞生。19
23、98年3月23日，第一批经批准的证券投资基金正式向社会公开发行，它们分别是开元基金和金泰基金。这两个证券投资基金的发行标志着我国投资基金的运作已经迈上了一个新台阶。 3、信托的特点有哪些？答：（1）财产权是信托行为成立的前提。财产权作为信托行为成立的前提是指委托人必须拥有信托财产的所有权，并将这些权力授予和转移给受托人。（2）信托是一种充分信任。充分信任是指信托当事人之间的信任。这种充分信任表现在：在信托期间，委托人将财产的所有权授予和转移给受托人，并在信托期间不再拥有对这部分财产的处置权，受托人按照信托契约的规定自主运用信托财产，在不违反信托目的的前提下，对信托财产的运用不受任何人的干涉。（
24、3）他人利益是信托的目的。他人利益是信托的目的是指：委托人为受益人的利益而设立信托，受托人为受益人的利益而取得信托财产，并管理运用信托财产，信托财产的收益由受益人享受。（4）按实绩原则计算信托损益。按实绩原则计算信托损益是指在受托人按照信托契约的规定尽职尽责管理信托财产的前提下，信托财产的损益根据受托人经营的实际结果来计算，而不是由委托人或受益人事先确立一个标准。 4、个人生前信托契约包括那些主要内容？答：个人生前信托契约应包括以下内容： （1）信托当事人。信托契约首先要明确信托的委托人、受托人和受益人。（2）信托目的。信托契约中应明确信托目的，信托目的应不违反法律，不违反民族习惯、公共道德，
25、并明确受益人接受此目的，受托人可以依据此目的执行信托契约。（3）信托财产。信托契约中要对信托财产进行详细的规定。（4）受托人的权限。受托人在信托期限内是信托财产法律上的所有者，但其对信托财产的所有权是有限的，他因信托财产而获得的权利是由委托人赋予的。信托目的不同，受托人的权限相应也有所不同。（5）受益人的权限。受益人享受信托收益，同时也拥有相应的权利。在信托契约中需要说明的受益人的权限主要是指明确受益人享受的信托收益。（6）信托期限。信托契约中要明确信托期限，信托期限可以是一个准确的时间区段，也可以以信托目的是否实现为依据。（7）受托人的报酬。在营业信托中，信托契约应明确受托人的报酬。（8）委
26、托人的保留条款。在某些情况下，委托人可在信托契约中明确保留条款，即保留对合同契约的撤销权利，保留改变受益人的权力，委托人和受益人可以依照契约中的保留条款处理信托期间出现的意外变故。 5、租赁的功能？答：租赁对承租人和出租人都有相应的功能，下面分别予以说明。 （1）对承租人的功能：融通资金。融通资金是融资租赁的主要功能，融资租赁可以为承租人提中长期资金来源，发挥与银行借贷等中长期融资手段相同的作用。同时融资租赁具有自己的优势：首先，租赁融资手续简便快捷；其次，承租人可以获得税收上的好处；第三，承租人可以得到百分之百的融资。 减少资金占用。承租人只需要支付租金就可以使用整套的设备，对于那些并不经常
27、使用的设备，企业利用租赁方式来使用，可以减少因购买这些设备而占用的资金。 提高资金流动性。承租人运用回租交易，可以将自己的固定资产出售变现，然后再租回使用，这样使原来的固定资产转换成了流动性资产，同时又不影响企业对设备的正常使用。 表外融资。企业通过选择租赁交易形式，可以使通过租赁获得的固定资产不计入资产负债表。 避免设备陈旧过时的风险。承租人可以利用传统租赁和融资租赁中的经营性租赁，租用那些技术更新速度较快的设备，若设备陈旧过时，承租人可以解除合同退回设备，再租用更先进的设备。 获得专业性管理服务。由出租人对设备进行维修和保养，比承租人更专业、更有效率。（2）对出租人的功能： 降低投资风险，
28、扩大投资规模。对投资者而言，采用租赁方式投资比采用贷款等方式投资可以降低投资风险，因为租赁物的所有权一直属于出租人；同时可以避免资金挪作他用。 扩大产品销售。对设备生产厂商来说，运用租赁形式可以扩大企业的产品销售，一是租赁可以减少一次性给付款给客户造成的资金压力，使那些资金不足的潜在客户变为现实的客户；二是租赁可以为客户提供设备试用期，有利于扩大客户群；三是用条件优惠的租赁吸引客户租用设备，从而带动配套设备和相关产品的销售；四是有利于开拓产品的国际市场。 6、租赁合同签订的基本原则？答：（1）当事人地位平等原则。是指有关当事人在具体的租赁关系中享有独立的法律人格，互不隶属，地位平等，各自能独立
29、地表达自己的意志。具体有：当事人的民事权利能力一律平等；当事人参与租赁业务时，适用同一法律，具有平等的地位；当事人在产生、变更和消灭具体的租赁法律关系时必须平等协商。 （2）等价有偿原则。是指当事人在从事租赁活动中，要按照价值规律的要求进行等价交换，实现各自的经济利益。具体表现为：在租赁合同法律关系中，当事人的权利和义务往往具有相对性；当事人一方通过租赁活动取得的利益与其履行的义务在价值上大致是相等的；当事人共同从事租赁业务时，各方都应该取得一定的经济利益，一方不得无偿占有、剥夺或侵犯他方的利益；一方给另一方造成损害，应依据损益相当的原则，使加害人的赔偿数额与受害人的损失相符。 （3）自愿和公
30、平原则。自愿原则，自愿是指租赁当事人在签订租赁合同时能够充分表达真实意志，根据自己的意愿设立、变更和终止租赁法律关系。首先要求租赁当事人在签订租赁合同时能够表达自己的真实意志；其次给予当事人在签订合同时一定的意志自由，这种自由包括当事人有权依法签订或不签订租赁合同；当事人有权选择其行为的内容和相对人。公平原则，要求租赁当事人应本着公平观念签订租赁合同，参与合同法律关系。 （4）诚实信用原则。是指租赁当事人在签订租赁合同时，应讲诚实，守信用，以善意的方式履行其义务，不得规避法律和合同。具体表现为：当事人要对对方诚实不欺、恪守诺言，讲究信用，在订立合同时，应依法如实陈述财产状况以及其他应当陈述的事项，不得隐瞒事实真相，以假乱真。 （5）合法原则。是指合同当事人必须严格遵守国家的法律和政策。具体包括：租赁当事人必须遵守我国法律和有关政策，任何当事人均不得签订与我国宪法、法律、法规和政策相抵触的合同；订立租赁合同必须符合法律规定的形式和程序；涉外租赁合同的订立不但要遵守中国的法律，还要符合中国的社会公共利益。 7、承租企业对租赁机构的选优的必要性及其分析答：（1）承租企业对租赁机构优选的必要
