基于MATLAB的信息率失真函数计算-11000字-本科毕业论文.docx
- 文档编号:713299
- 上传时间:2023-04-29
- 格式:DOCX
- 页数:25
- 大小:104.25KB
基于MATLAB的信息率失真函数计算-11000字-本科毕业论文.docx
《基于MATLAB的信息率失真函数计算-11000字-本科毕业论文.docx》由会员分享,可在线阅读,更多相关《基于MATLAB的信息率失真函数计算-11000字-本科毕业论文.docx(25页珍藏版)》请在冰点文库上搜索。
精品文档
基于MATLAB的信息率失真函数计算
摘 要
本文对信息率失真函数的计算方法展开分析讨论,并通过MATLAB数学软件仿真实现。
信息论是运用概率论与数理统计的方法进行研究的应用数学学科。
随着人们不断加深对信息的认识与利用,信息科学被应用在各个方面。
然而,在实际的通信中,无失真的通信是不可能的,而且也无必要,因此,本文从离散信源着手,讨论平稳无记忆信源的信息传输过程及其特性,分析在限定失真为最大允许失真为D时信源的最小信息速率。
计算一般离散信源的信息率失真率函数R(D)较为复杂,本文采用带参量的迭代法求解R(D),介绍用带参量的迭代法求解R(D)的一般方法。
MATLAB是用于算法开发、数据可视化、数据分析以及数值计算的数学软件,本文通过MATLAB编写程序实现离散信源的信息率失真函数的计算。
关键词:
离散信源失真率迭代算法MATLAB
MATLAB-basedcalculationofrate-distortionfunction
值得下载
Abstract
Thispapermainlydiscussesandanalysisesthecalculationmethodofrate-distortionfunction,andtosimulatebyusingmathematicssoftwareMATLAB(MatrixLaboratory).InformationTheoryisanAppliedMathematicswhichusesprobabilitytheoryandmathematicalstatisticsmethodstodostudy.Aspeoplecontinuetodeepentheunderstandinganduseofinformation,informationscienceisappliedinmanyaspects.However,inactualcommunication,distortion-freecommunicationisimpossible,andnotnecessary,therefore,thispaperproceedfromthediscretesourcetodiscusstheinformationtransferprocessandfeatureofthestationarymemorylesssource,andanalysistheMinimuminformationrateofinformationSourcewhenlimitdistortionisthemaximumallowabledistortionD.ItiscomplextocalculatetheinformationratedistortionfunctionR(D)ofgeneraldiscretesource,inthispaper,theiterativealgorithmwithparametersisusedtocalculatetheR(D),introducesgeneralmethodstocalculatetheR(D)whichusingiterativealgorithmwithparameters.MATLABisamathematicssoftwarewhichappliedinalgorithmdevelopment,datavisualization,dataanalysisandnumericalcalculation,inthispaper,thecalculationofinformationratedistortionfunctionofdiscretesourceisrealizedbyprogramming.
Keywords:
Discretesource Rate-distortion Iterativealgorithm MATLAB
目 录
中文摘要 i
英文摘要 ii
目录 iii
第一章绪论 1
1.1简述信息论 1
1.2信息率失真函数的研究意义 2
1.3信息率失真函数的研究背景 3
第二章简述数学软件MATLAB 4
2.1MATLAB的功能 4
2.2MATLAB的应用 5
第三章离散信源的信息率失真函数 6
3.1离散信源 6
3.2信息率失真函数的定义 7
3.2.1失真度与平均失真 7
3.2.2信息率失真函数R(D)
..........................................8
3.3信息率失真函数的性质 10
3.4信息率失真函数的一般计算方法 11
第4章离散平稳无记忆信源信息率失真函数迭代法 11
4.1信息率失真函数的迭代计算 11
4.2源程序编码 12
4.3示例1 15
4.4示例2 17
第五章总结 20
致谢 21
参考文献 22
1.1简述信息论
第1章 绪论
信息就是一种消息,它与通讯问题密切相关。
1948年贝尔研究所的香农在题为《通讯的数学理论》的论文中系统地提出了关于信息的论述,创立了信息论。
维纳提出的关于度量信息量的数学公式开辟了信息论的广泛应用前景。
1951年美国无线电工程学会承认信息论这门学科,
此后得到迅速发展。
20世纪50年代是信息论向各门学科冲击的时期,60年代信息论不是重大的创新时期,而是一个消化、理解的时期,是在已有的基础上进行重大建设的时期。
研究重点是信息和信源编码问题。
到70年代,由于数字计算机的广泛应用,通讯系统的能力也有很大提高,如何更有效地利用和处理信息,成为日益迫切的问题。
人们越来越认识到信息的重要性,认识到信息可以作为与材料和能源一样的资源而加以充分利用和共享。
信息的概念和方法已广泛渗透到各个科学领域,它迫切要求突破申农信息论的狭隘范围,以便使它能成为人类各种活动中所碰到的信息问题的基础理论,从而推动其他许多新兴学科进一步发展。
目前,人们已把早先建立的有关信息的规律与理论广泛应用于物理学、化学、生物学等学科中去。
一门研究信息的产生、获取、变换、传输、存储、处理、显示、识别和利用的信息科学正在形成[3]。
信息有以下性质:
客观性、广泛性、完整性、专一性。
首先,信息是客观存在的,它不是由意志所决定的,但它与人类思想有着必然联系。
同时,信息又是广泛存在的,四维空间被大量信息子所充斥。
信息的一个重要性质是完整性,每个信息子不能决定任何事件,须有两个或两个以上的信息子规则排布为完整的信息,其释放的能量才足以使确定事件发生。
信息还有专一性,每个信息决定一个确定事件,但相似事件的信息也有相似之处,其原因的解释需要信息子种类与排布密码理论的进一步发现。
信息论是运用概率论与数理统计的方法研究信息、信息熵、通信系统、数据传输、密码学、数据压缩等问题的应用数学学科。
信息论将信息的传递作为一种统计现象来考虑,给出了估算通信信道容量的方法。
信息传输和信息压缩是信息论研究中的两大领域。
这两个方面又由信息传输定理、信源-信道隔离定理相互联系。
香农被称为是“信息论之父”。
人们通常将香农于1948年10月发表于《贝尔系统技术学报》上的论文《AMathematicalTheoryofCommunication》(通信的数学理论)作为现代信息论研究的开端。
信息论被广泛应用在:
编码学、密码学与密码分析学、数据传输、数据压缩、检测理论、估计理论。
信息论是一门用数理统计方法来研究信息的度量、传递和变换规律的科学。
它主要是研究通讯和控制系统中普遍存在着信息传递的共同规律以及研究最佳解决信息的获限、度量、变换、储存和传递等问题的基础理论。
信息论的研究范围极为广阔。
一般把信息论分成三种不同类型[4]:
(1)狭义信息论是一门应用数理统计方法来研究信息处理和信息传递的科学。
它研究存在于通讯和控制系统中普遍存在着的信息传递的共同规律,以及如何提高各信息传输系统的有效性和可靠性的一门通讯理论。
(2)一般信息论主要是研究通讯问题,但还包括噪声理论、信号滤波与预测、调制与信息处理等问题。
(3)广义信息论不仅包括狭义信息论和一般信息论的问题,而且还包括所有与信息有关的领
域,如心理学、语言学、神经心理学、语义学等。
信息科学是人们在对信息的认识与利用不断扩大的过程中,在信息论、电子学、计算机科学、人工智能、系统工程学、自动化技术等多学科基础上发展起来的一门边缘性新学科。
它的任务主要是研究信息的性质,研究机器、生物和人类关于各种信息的获取、变换、传输、处理、利用和控制的一般规律,设计和研制各种信息机器和控制设备,实现操作自动化,以便尽可能地把人脑从自然力的束缚下解放出来,提高人类认识世界和改造世界的能力。
信息科学在安全问题的研究中也有着重要应用。
1.2信息率失真函数的研究意义
在实际的通信中,信息在信道的传输过程中总会受到噪声和干扰的影响,一般是不可能完全保持发送的原样,它或多或少总会产生一些失真。
香农第二定理指出,当信息传输率R大于信道容量C时,传输总要产生失真。
而在实际通信中,信息传输率R总是大大超过信道容量C,因此也就不可能完全无失真地传输信源信息。
此外,随着科学技术的发展,数字系统的应用越来越广泛,这就需要传送、存储和处理大量数据。
为了提高传送和存储的效率,往往需要压缩数据,这样也会带来一定的信息损失。
然而在实际生活中,人们一般并不要求完全无失真恢复信息,通常要求在保证一定质量(一定保证度)的条件下再现原来的消息,也就是说允许失真的存在。
香农无失真可变长信源编码定理告诉我们:
采用无失真最佳信源编码可使得用于每个信源符号的编码位数尽可能地少,但它的极限是原始信源的熵值。
超过了这一极限就不可能实现无失真的译码。
但实际需要传输的信源,其信息传输率往往超过传输信道的信道容量。
例如模拟信号理论上具有无限宽的信号频带与无限高的取值精度,因而具有无限大的信息传输率;即便是数字信号的传输,由于信道资源或经济因素的限制,也往往出现信道容量不能支持信息传输率的情况,因此传输过程的失真与差错是不可避免的。
另一方面,在实际生活中,人们一般并不要求完全无失真地恢复消息,而只要求在一定保真度的前提下近似地再现原来的消息,也就是允许有一定的失真存在。
例如音频信号的带宽是20~20000Hz,但只要取其中一部分即可保留主要的信息。
在公用电话网中选取音频带宽中的
300~3 400Hz即可使通话者较好地获取主要信息;在要求有现场感的话音传输中,取50~7
000Hz的频带即可较好地满足要求。
在图像通信中情况也是如此。
广播式电视中的图像分辨率是
500~600行;会议电视的图像分辨率有200~300行即可满足使用要求;而在可视电话通信中,传输的图像分辨率有100~150行就能满足基本的要求。
可见不同的用途允许不同大小的失真存在[5]。
综上所述可知,完全不失真的通信既无必要也不可能。
对于给定的信源,在定义了具体的失真函数以后,总是希望在允许一定失真限度的情况下,使得传输信源的信息率尽可能的小。
即在满足保真准则的条件下,寻找传输信源信息传输率的最小值。
这个最小值与允许失真限度D有关。
如果从接收端来看,就是在满足保真准则的条件
下,寻找再现信源信息所必须获得的最小平均信息量。
接收端获得的信息量可用平均互信息来表示,问题就转化成了在满足保真准则的条件下,寻找平均信息量的最小值。
由于平均互信息是信道转移概率的下凸函数,所以最小值一定存在。
这个最小值就是率失真函数R(D)。
1.3信息率失真函数的研究背景
在50年代,信息论主要研究无失真的信息传输问题。
信源编码着眼于无失真地恢复信源符号的最小信息率。
1959年,C.E.Shannon发表《逼真度准则下的离散信源编码定理》一文,提出了率失真函数的概念,逐渐形成率失真理论并不断得到完善。
这一理论能解决许多类型的信源问题,并扩大到多用户相关信源问题。
无失真信源编码和有噪信道编码告诉我们:
只要信道的信息传输速率小于信道容量,总能找到一种编码方法,使得在该信道上的信息传输的差错概率任意小;反之,若信道的信息传输速率大于信道容量,则不可能使信息传输差错概率任意小。
但是,无失真的编码并非总是必要的。
香农首先定义了信息率失真函数R(D),并论述了关于这个函数的基本定理。
定理指出【3】:
在允许一定失真度D的情况下,信源输出的信息传输率可压缩到R(D)值,这就从理论上给出了信息传输率与允许失真之间的关系,奠定了信息率失真理论的基础。
信息率失真理论是进行量化、数模转换、频带压缩和数据压缩的理论基础。
研究在限定失真下为了恢复信源符号所必需的信息率,简称率失真理论。
信源发出的符号传到信宿后,一般不能完全保持原样,而会产生失真。
要避免这种失真几乎是不可能,而且也无必要,因为信宿不管是人还是机器,灵敏度总是有限的,不可能觉察无穷微小的失真。
倘若在处理信源符号时允许一定限度的失真,可减小所必需的信息率,有利于传输和存储。
率失真理论就是用以计算不同类型的信源在各种失真限度下所需的最小信息率。
因此,这一理论是现代所有信息处理问题的理论基础。
第2章 简述数学软件MATLAB
2.1MATLAB的功能
MATLAB是矩阵实验室(MatrixLaboratory)的简称,是美国MathWorks公司出品的商业数学软件,用于算法开发、数据可视化、数据分析以及数值计算的高级技术计算语言和交互式环境,主要包括MATLAB和Simulink两大部分。
MATLAB和Mathematica、Maple并称为三大数学软件。
它在数学类科技应用软件中在数值计算方面首屈一指。
MATLAB可以进行矩阵运算、绘制函数和数据、实现算法、创建用户界面、连接其他编程语言的程序等,主要应用于工程计算、控制设计、信号处理与通讯、图像处理、信号检测、金融建模设计与分析等领域。
MATLAB的基本数据单位是矩阵,它的指令表达式与数学、工程中常用的形式十分相似,故用MATLAB来解算问题要比用C,FORTRAN等语言完成相同的事情简捷得多,并且mathwork也吸收了像Maple等软件的优点,使MATLAB成为一个强大的数学软件。
MATLAB产品族可以用来进行以下各种工作:
数值分析、数值和符号计算、工程与科学绘图、控制系统的设计与仿真、数字图像处理技术、数字信号处理技术、通讯系统设计与仿真、财务与金融工程。
MATLAB的应用范围非常广,包括信号和图像处理、通讯、控制系统设计、测试和测量、财务建模和分析以及计算生物学等众多应用领域。
附加的工具箱(单独提供的专用MATLAB函数集)扩展了MATLAB环境,以解决这些应用领域内特定类型的问题[7]。
MATLAB由一系列工具组成。
这些工具方便用户使用MATLAB的函数和文件,其中许多工具采用的是图形用户界面。
包括MATLAB桌面和命令窗口、历史命令窗口、编辑器和调试器、路径搜索和用于用户浏览帮助、工作空间、文件的浏览器。
随着MATLAB的商业化以及软件本身的不断升级,MATLAB的用户界面也越来越精致,更加接近Windows的标准界面,人机交互性更强,操作更简单。
而且新版本的MATLAB提供了完整的联机查询、帮助系统,极大的方便了用户的使用。
简单的编程环境提供了比较完备的调试系统,程序不必经过编译就可以直接运行,而且能够及
时地报告出现的错误及进行出错原因分析。
MATLAB一个高级的矩阵/阵列语言,它包含控制语句、函数、数据结构、输入和输出和面向对象编程特点。
用户可以在命令窗口中将输入语句与执行命令同步,也可以先编写好一个较大的复杂的应用程序(M文件)后再一起运行。
新版本的MATLAB语言是基于最为流行的C++语言基础上的,因此语法特征与C++语言极为相似,而且更加简单,更加符合科技人员对数学表达式的书写格式。
使之更利于非计算机专业的科技人员使用。
而且这种语言可移植性好、可拓展性极强,这也是MATLAB能够深入到科学研究及工程计算各个领域的重要原因。
MATLAB是一个包含大量计算算法的集合。
其拥有600多个工程中要用到的数学运算函数,可以方便的实现用户所需的各种计算功能。
函数中所使用的算法都是科研和工程计算中的最新研究成果,而前经过了各种优化和容错处理。
在通常情况下,可以用它来代替底层编程语言,如C和C++。
在计算要求相同的情况下,使用MATLAB的编程工作量会大大减少。
MATLAB的这些函数集包括从最简单最基本的函数到诸如矩阵,特征向量、快速傅立叶变换的复杂函数。
函数所能解决的问题其大致包括矩阵运算和线性方程组的求解、微分方程及偏微分方程的组的求解、符号运算、傅立叶变换和数据的统计分析、工程中的优化问题、稀疏矩阵运算、复数的各
种运算、三角函数和其他初等数学运算、多维数组操作以及建模动态仿真等。
MATLAB自产生之日起就具有方便的数据可视化功能,以将向量和矩阵用图形表现出来,并且可以对图形进行标注和打印。
高层次的作图包括二维和三维的可视化、图象处理、动画和表达式作图。
可用于科学计算和工程绘图。
新版本的MATLAB对整个图形处理功能作了很大的改进和完善,使它不仅在一般数据可视化软件都具有的功能(例如二维曲线和三维曲面的绘制和处理等)方面更加完善,而且对于一些其他软件所没有的功能(例如图形的光照处理、色度处理以及四维数据的表现等),MATLAB同样表现了出色的处理能力。
同时对一些特殊的可视化要求,例如图形对话等,MATLAB也有相应的功能函数,保证了用户不同层次的要求。
另外新版本的
MATLAB还着重在图形用户界面(GUI)的制作上作了很大的改善,对这方面有特殊要求的用户也可以得到满足。
2.2MATLAB的应用
MATLAB对许多专门的领域都开发了功能强大的模块集和工具箱。
一般来说,它们都是由特定领域的专家开发的,用户可以直接使用工具箱学习、应用和评估不同的方法而不需要自己编写代码。
目前,MATLAB已经把工具箱延伸到了科学研究和工程应用的诸多领域,诸如数据采集、数据库接口、概率统计、样条拟合、优化算法、偏微分方程求解、神经网络、小波分析、信号处理、图像处理、系统辨识、控制系统设计、LMI控制、鲁棒控制、模型预测、模糊逻辑、金融分析、地图工具、非线性控制设计、实时快速原型及半物理仿真、嵌入式系统开发、定点仿真、
DSP与通讯、电力系统仿真等,都在工具箱(Toolbox)家族中有了自己的一席之地。
MATLAB可以利用MATLAB编译器和C/C++数学库和图形库,将自己的MATLAB程序自动转换为独立于MATLAB运行的C和C++代码。
允许用户编写可以和MATLAB进行交互的C或C++语言程序。
另外,MATLAB网页服务程序还容许在Web应用中使用自己的MATLAB数学和图形程序。
MATLAB的一个重要特色就是具有一套程序扩展系统和一组称之为工具箱的特殊应用子程序。
工具箱是MATLAB函数的子程序库,每一个工具箱都是为某一类学科专业和应用而定制的,主要包括信号处理、控制系统、神经网络、模糊逻辑、小波分析和系统仿真等方面的应用。
在开发环境中,使用户更方便地控制多个文件和图形窗口;在编程方面支持了函数嵌套,有条件中断等;在图形化方面,有了更强大的图形标注和处理功能,包括对性对起连接注释等;在输入输出方面,可以直接向Excel和HDF5进行连接[8]。
第3章 离散信源的信息率失真函数
3.1离散信源
信源(InformationSource)是信息的来源,是产生消息(符号)、时间离散的消息序列(符号序列)以及时间连续的消息的来源。
信源输出的消息都是随机的,因此可用概率来描述其统计特性。
信源在数学上可以用随机变量、随机序列和随机过程来表示。
信息是抽象的,信源则是具体的。
信源的分类由多种方法,我们常根据信源输出的消息在时间和取值上是离散或连续进行分类。
另外,根据各维随机变量的概率分布是否随时间的推移而变化将信源分为平稳信源和非平稳信源。
根据随机变量间是否统计独立将信源分为有记忆信源和无记忆信源。
信源输出是随机的,因而它是概率性的。
从概率统计观点看,概率分布是信源最基本、最完整的统计特性。
对离散无记忆信源,信源消息序列是统计独立的,因此只要知道单个消息的概率分布就能完全决定整个消息序列的联合概率分布。
对离散有记忆信源情况就不同了,它必须知道整个消息序列的联合分布,而求有记忆信源的联合分布是很困难的。
只是在一些很特殊的情况下,已知分布类型和某些统计参量,如均值、协方差,才能求出分布。
最典型的例子是具有有限维的正态分布,其概率分布唯一地决定于均值和协方差。
实际信源分布即使是一维的也往往是未知的,通常采用直方图统计量,以便为实际信源寻找出一个近似的概率分布。
在求实际语声、图像分布时,常采用这种方法。
利用概率分布,可以进一步引用信息熵H(X)来描述信源的统计特性。
根据熵的性质,无记忆的单个消息熵大于有记忆的单个消息熵,且记忆越长,单个消息熵就越小。
实际信源多数是有记忆的,但是在传送信源消息时往往按无记忆考虑,因此信源存在着压缩的可能性。
图像和语声是最常用的两类主要信源。
要充分描述一幅活动的立体彩色图像,须用一个四元的随机矢量场X(x,y,z,t),其中x,y,z为空间坐标;t为时间坐标;而X是六维矢量,即表示左、右眼的亮度、色度和饱和度。
然而通常的黑白电视信号是对平面图像经过线性扫描而形成。
这样,上述四元随机矢量场可简化为一个随机过程X(t)。
图像信源的最主要客观统计特性是信源的幅度概率分布、自相关函数或功率谱。
关于图像信源的幅度概率分布,虽然人们已经作了大量的统计和分析,但尚未得出比较一致的结论。
至于图像的自相关函数,实验证明它大体上遵从负指数型分布。
其指数的衰减速度完全取决于图像类型与图像的细节结构。
实际上,由于信源的信号处理往往是在频域上进行,这时可以通过傅里叶变换将信源的自相关函数转换为功率谱密度。
功率谱密度也可以直接测试。
语声信号一般也可以用一个随机过程X(t)来表示。
语声信源的统计特性主要有语声的幅度概率分布、自相关函数、语声
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 MATLAB 信息率 失真 函数 计算 11000 本科毕业 论文