大学课程《信息论基础与应用》PPT课件:第4章 连续信源的相对熵.ppt
- 文档编号:18828860
- 上传时间:2023-12-20
- 格式:PPT
- 页数:64
- 大小:720.50KB
大学课程《信息论基础与应用》PPT课件:第4章 连续信源的相对熵.ppt
《大学课程《信息论基础与应用》PPT课件:第4章 连续信源的相对熵.ppt》由会员分享,可在线阅读,更多相关《大学课程《信息论基础与应用》PPT课件:第4章 连续信源的相对熵.ppt(64页珍藏版)》请在冰点文库上搜索。
第4章连续信源与连续信道,1,4.1连续信源你的相对熵,连续信源:
用连续随机变量描述输出消息的信源。
数学模型:
一相对熵的定义,Hc(X):
信息熵,分层量化,连续,离散,利用离散信源熵的概念来定义连续信源熵,如图表示a,b区间的连续随机变量。
首先把X的取值区间a,b分割为n个小区间,小区间宽度为:
=(b-a)/n。
根据概率密度函数曲线的区间面积关系,X取值为xi的概率为:
Pi=p(xi)得到离散信源Xn的信源空间为:
相对熵:
h(X),确定值部分,无限大常数项,称为连续信源的熵。
二几种连续信源的相对熵,1.均匀分布:
相对熵无非负性,可为负值,2.高斯分布:
与方差有关,与均值无关,当均值m=0,即方差表示平均功率时:
相对熵只与平均功率有关,3.指数分布:
指数分布的相对熵只取决于信源的均值a,小结,16,1.连续信源的相对熵的定义:
2.几种连续信源的相对熵:
均匀分布、高斯分布、指数分布,4.2几种单维连续信源的相对熵,1.均匀分布:
相对熵无非负性,可为负值,2.高斯分布:
与方差有关,与均值无关,当均值m=0,即方差表示平均功率时:
相对熵只与平均功率有关,3.指数分布:
指数分布的相对熵只取决于信源的均值a,4.3最大相对熵定理,极值性、上凸性,相对熵具有极大值,一维连续信源X的相对熵h(X)的最大值,是概率密度函数p(x)的函数h(X)的条件极大值。
考虑:
则:
1.峰值功率受限(取值区间受限):
均匀分布相对熵最大,2.平均功率受限:
高斯分布相对熵最大,3.均值受限(取值非负):
指数分布相对熵最大,1.对于峰值功率受限的连续信源,均匀分布的相对熵最大;2.对于输出平均功率受限的连续信源,在假设状态相互独立时,当其概率密度函数为高斯分布时,具有最大熵;3.对于均值受限的连续信源,指数分布输出相对熵最大。
结论:
(最大熵定理),熵功率,平均功率受限(m=0):
熵功率,4.4连续熵的变换,解:
4.5连续信道,1连续信道的分类:
按噪声统计特性分类高斯信道:
若信道的噪声是高斯噪声,即噪声是平稳随机过程,其瞬时值的概率密度函数服从正态分布(高斯分布),则此信道称为高斯信道。
白噪声信道:
若信道的噪声是白噪声,即噪声是平稳随机过程,其功率谱密度均匀分布于整个频域,则此信道称为白噪声信道。
高斯白噪声信道:
若信道的噪声是高斯分布的白噪声,则此信道称为高斯白噪声信道。
按噪声对信号的作用功能分类乘性信道:
信道中噪声对信号的作用表现为与信号相乘的关系。
加性信道:
信道中噪声对信号的作用表现为与信号相加的关系。
根据时间取样定理,把波形信道的输入x(t)和输出y(t)的平稳随机过程信号离散化成(=2FT)个时间离散、取值连续的平稳随机序列X=X1X2XN和Y=Y1Y2YN。
这样,波形信道就转化为多维连续信道。
基本连续信道:
输入和输出都是单个连续型随机变量的信道。
即单符号连续信道,其输入是连续型随机变量X,X取值于a,b或实数域R;输出也是连续型随机变量Y,取值于a,b或实数域R;信道的传递概率密度函数为p(y/x),并满足因此,可用X,p(y/x),Y来描述单符号连续信道。
多维连续信道:
输入是N维连续型随机序列X=X1X2XN,输出也是N维连续型随机序列Y=Y1Y2YN,而信道传递概率密度函数是p(y/x)=p(y1y2yn/x1x2xn)并且满足用X,P(y/x),Y来描述多维连续信道。
2连续信道的信息传输率,连续信道的平均互信息单符号连续信道的平均互信息连续信道X,P(y/x),Y的平均互信息I(X;Y)=h(X)h(X/Y)=h(Y)h(Y/X)=h(X)+h(Y)h(XY)单符号连续信道的信息传输率:
R=I(X;Y)(比特/自由度),多维连续信道X,P(y/x),Y的平均互信息I(X;Y)=h(X)h(X/Y)=h(Y)h(Y/X)=h(X)+h(Y)h(XY)平均互信息的单位是比特/N个自由度或奈特/N个自由度。
多维连续信道的信息传输率:
R=I(X;Y)(比特/N个自由度),3连续信道平均互信息的特性
(1)非负性I(X;Y)0当且仅当X和Y统计独立时,等式成立。
(2)对称性I(X;Y)I(Y;X)(3)凸状性I(X;Y)是输入信源的概率密度函数p(x)的上凸函数;I(X;Y)是信道传递概率密度函数p(y/x)的下凸函数。
(4)信息不增性(又称数据处理定理)连续信道输入变量为X,输出变量为Y,若对连续随机变量Y再进行处理而成为另一连续随机变量Z,总会丢失信息,最多保持原获得的信息不变,而所获得的信息不会增加。
即数据处理定理。
I(X;Z)I(X;Y)若连续随机变量X-Y-Z形成马氏链,则I(X;Z)I(X;Y)若连续随机矢量S-X-Y-Z形成马氏链,则I(S;Z)I(X;Z)I(X;Y),(5)平均互信息的不变性,(6)I(X;Y)与I(Xi;Yi)的关系若平稳连续信源无记忆即p(x)=则有I(X;Y)若多维连续信道无记忆即p(y/x)=则有I(X;Y)若连续信源和连续信道都是无记忆时,即上两等式条件都成立,则有I(X;Y),4连续信道的信道容量,对于固定的连续信道,和离散信道一样,都有一个最大的信息传输率,称之为信道容量。
一般多维连续信道的信道容量为C=maxI(X;Y)=maxh(X)h(Y/X)比特/N个自由度,高斯加性信道的容量,1)加性信道:
1.X、N统计独立,2.噪声的干扰作用表现为噪声N对信源X的线形叠加,加性信道,2)高斯加性信道的容量:
平均功率受限:
nat/维(自由度),5连续信道编码定理,定理对于限带高斯白噪声加性信道,噪声功率为Pn,带宽为W,信号平均功率受限为PS,则
(1)当RCWlog(1+PS/Pn),总可以找到一种信道编码在信道中以信息传输率R传输信息,而使错误概率任意小。
(2)当RC,找不到一种信道编码,在信道中以R传输信息而使错误概率任意小。
实际应用:
对于一定的信息传输率来说,带宽W、传输时间T和信噪功率比PS/Pn三者之间的关系(即有以下三种匹配方式):
(1)在固定传输时间T下,以带宽换取信噪比;
(2)在固定信噪比PS/Pn下,以频带换取时间;(3)在固定频带W下,以时间换取信噪比。
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 信息论基础与应用 大学课程信息论基础与应用PPT课件:第4章 连续信源的相对熵 大学 课程 信息论 基础 应用 PPT 课件 连续 信源 相对