1、2.3 熵与互信息的关系93 信息熵在图像分割中的应用113.1 图像分割的基本概念113.1.1 图像分割的研究现状113.1.2 图像分割的方法113.2 基于改进粒子群优化的模糊熵煤尘图像分割123.2.1 基本粒子群算法123.2.2 改进粒子群优化算法133.2.3 Morlet 变异133.2.4 改建粒子群优化的图像分割方法143.2.5 实验结果及分析163.3 一种新信息熵的定义及其在图像分割中的应用193.3.1 香农熵的概念及性质193.3.2 一种信息熵的定义及证明193.3.3 信息熵计算复杂性分析213.3.4 二维信息熵阈值法223.3.5 二维信息熵阈值法的复杂
2、性分析243.3.6 结论及分析254 信息熵在图像配准中的应用274.1 图像配准的基本概述274.2 基于互信息的图像配准274.3 POWELL 算法284.4 变换284.4.1 平移变换294.4.2 旋转变换304.5 基于互信息的图像配准的设计与实现314.5.1 总体设计思路和图像配准实现314.5.2 直方图334.5.3 联合直方图334.5.4 灰度级差值技术344.4.5 优化搜索办法级结论355 结语37致谢38参考文献391 引 言1.1.信息熵的概念1948年，美国科学家香农（CEShannon）发表了一篇著名的论文通信的数学理论。他从研究通信系统传输的实质出发，
3、对信息做了科学的定义，并进行了定性和定量的描述。他指出，信息是事物运动状态或存在方式的不确定性的描述。其通信系统的模型如下所示：信号编 码信 源信 道解 码信 宿噪 声干 扰图 1.1信息的传播信息的基本作用就是消除人们对事物的不确定性。信息熵是信息论中用于度量信息量的一个概念。 假定 X 是随机变量 c的集合， P（x） 表示其概率密度，计算此随机变量的信息熵H （x） 的公式是：H （ X ） = - p（x） log p（x）xP（x, y） 表示一对随机变量的联合密度函数，他们的联合熵H （x, y） 可以表示为：H （ X ,Y ） = -xc p（x, y） log p（ X ,Y
4、 ）yY信息熵描述的是信源的不确定性，是信源中所有目标的平均信息量。信息量是信息论的中心概念，将熵作为一个随机事件的不确定性或信息量的量度，它奠定了现代信息论的科学理论基础，如果一条信息是由n 个字符连成的字符串组成，并且每个字符有m 种可能，那么这条信息就有mn 种不同的排列情况，那么可以用mn 度量信息量， 但这时的信息量随着消息的长度n 按指数增加，为了使信息量的度量值按线性增加，Hartley 给出了取对数的信息量的定义：22H = log mn = n log m（1.1）由上式可以看出，信息量随着消息的可能性组合m 增多而增多，如果消息只有一种可能性时即事件为必然事件时，那么消息中
5、包含的信息量为零log2 1 = 0 。因此可以看出，可能收到的不同消息越多，对收到哪条消息的不确定性就越大;相反，收到只有一种可能性的消息，不确定性为零，Hartley 对消息的度量实际是对不确定性的度量。Hartley 度量方法的不足之处是他所定义信息量是假定所有符号发生的概率相同， 但实际情况各符号并不一定都等概发生，为此，Shannon 用概率加权来衡量消息出现的可能性，对 Hartley 的度量方法做出改进。设某一随机过程中有 k 种可能的情况，每种情况发生的概率分别是 P1 ， P2 ，Pk ，Shannon 给出了熵的如下定义：H = pilog 2 1 = -p pilog 2
6、 pi（1.2）i当所有可能的事件均以相等的概率发生时，上式就成了 Hartley 定 义的熵，并且这时熵取得最大值，即H = - 1 log 1 = mn = log mn（1.3）mn2 mnmn22所以，Hartley 熵是,Shannon 熵的特殊情形，而 Shannon 更具有一般性。Shannon 熵包含三种含义：第一种含义是度量信息量，事件发生概率与获得的信息量成反比，即概率越大，信息量越少，又由式（1.3）知，概率越大，信息量越少，熵越小，所以可用熵的大小来度量信息量，熵越大，信息量越大;第二是度量事件概率分布的分散度，概率集中分布时熵值小，分散性越强，熵越大；三含义是度量事件
7、发生的不确定性，概率越大，事件的不确定性越小，熵越小。利用上面第三个含义，可以用Shannon 熵，来度量图像包含的信息量，图像灰度值的概率分布是每灰度值出现的次数除以图像中所有灰度值出现的总次数，此时图像的信息量可依据这个概率分布来计算， 一幅图像中不同的灰度值较少，各灰度值出现的概率较高，则对应的灰度值较低，意 味着这幅图像含有的信息量很少。反之，如果一幅图像中含有很多不同的灰度值，且 各灰度值发生的概率又基本一致，则它的熵值会很高，那么这幅图像包含的信息量很 大。1.2 信息熵的基本性质及证明1.2.1 单峰性信息熵的单峰性可表述为：先考察由 X 1 、 X 2 两个事件构成的概率系统，
8、其产生的概率分别为 P 和1 - P 则该系统的信息 H = -（P log 2 P + （1 - P） log 2 （1 - P）.通过求极限lim x log x = 0 不难证明：2x（1） 当 P = 0 时， H = -（0 log 2 + （1 - 0） log 2 （1 - 0） = 0. 这是一种 X 1 产生的概率为0，X 2 产生的概率为1 的确定系统。（2） 当 P = 1时 H = -（1log 2 1 + （1 - 1） log 2 （1 - 1） = 0. 这是一种 X 1 产生的概率为1，X 2 产生的概率为0 的确定系统。（3） 对函数 H = -（P log
9、2 P + （1 - P） log 2 （1 - P）. 可以通过求导数的方式寻找其极值点。该函数的一阶导数为 dH= log（1 - P） . 令 dH= 0 则有log（1- P） = 0 ，求得dP2PdP2P1d 2 H1d 2 HP =为该函数的驻点。因为二阶导数dP 2= - P（1 - P） ln 2 ,当0 P 1时，恒dP2小于0 ， 所以当 P = 1 时函数有极大值。这说明当 X 、 X212两事件产生的概率相同时，H 具有最大值，这是一种不确定性最大的不确定系统。n（4） 若概率系统中有n 个事件，当每一事件产生的概率相同（均为1/ n ）时，则系统的信息熵 H 具有最
10、大值。该结论可以通过以下的讨论来证明：具有n 个事件的概率系统其信息熵可表示为 H = - Pi log 2 Pi ，这是在约束条件i=1 Pi = 1 下的极值问题。应用l因子法，设：nnH 0 = - Pi log 2 Pi + l（ Pi - 1）.将 H 0 对 X 1 事件的概率 Pi 求一阶偏导数，并令i=1H 0Pi= 0 使用约束条件 Pi = 1 确定l值，可求得 P= 1 （常数）。同理有 P = P = L = P = 1 （常数），即当P1 = P2 = L = Pnn12nn= 1 时， H 有极大值。1.2.2 对称性信息熵的对称性可表述为：设某一概率系统中n 个事
11、件的概率分布为（P1 , P2 ,L Pn ）, 当对事件位置的顺序进行任意置换后，得到新的概率分布为（P1, P2L Pn） ，并有以下关系成立：H （P1 , P2 L Pn ） = H （P1,L Pn）.它表示概率系统中事件的顺序虽不同，但概率系统的熵H 是不变的，即概率系统的熵与事件的顺序无关。1.2.3 渐化性信息熵的渐化性可表述为：设概率为 Pn = （q + r） 的事件可分解为概率分别为q 和r 的两个事件，则有：H （P1 , P2 L Pn-1 , Pn ） = H （P1 , P2 L Pn-1 , Pn , q + r）= H （P , P L P, q, r） +
12、（q + r） H （ q,r）.12n-1q + r1.2.4 展开性信息熵的展开性可表述为：设某一概率系统的概率分布为（P1 , P2 ,L Pn ）, 则系统的信息熵具有展开性质：H （P1 , P2 L Pn ） = H （P1 , P2 L Pn ,0）.在此基础上，进一步展开有：H （P1 , P2 L Pn ） = H （P1 , P2 L Pn ,0,L0）.根据lim（-P log P） = 0, 上述展开性不难证明。P1.2.5 确定性信息熵的确定性可表述为：设信息系统中，任一事件产生的概率为1，则其他事件产生的概率为0。这是一种确定的系统，对于这样的系统有：H （1,0）
13、 = H （0,1） = 0,H （1,0,L,0） = H （0,L,0,1,0L,0） = H （0,L,0,1） = 0.根据lim（-P log P） = 0, 很容易证明上述性质。12 基于熵的互信息理论2.1 互信息的概述互信息（MutualInformation）来自于信息论，是信息论中的一个基本概念，是两个随机变量统计相关性的测度。当两幅图像达到最佳配准，它们对应像素的灰度互信息应达到最大。该测度不需要对不同成像模式下图像灰度间的关系作任何假设，也不需要对图像进行分割或任何预处理，具有自动化程度高的特点。因此，最近几年将互信息作为图像配准过程的相似性测度，利用最大互信息法进行图
14、像配准成为了图像处理领域的研究热点。互信息是基于概率统计论提出的，具有统计特性，它被多数研究者公认为是一个很好的图像配准准则，许多图像配准算法的研究均是在互信息的基础上加以改进的。互信息作为医学图像配准的一个相似性测度，多模态医学图像的配准很实用，其配准原理是两幅基于共同人体解剖结构的图像在配准时具有最大的互信息值。2.2 互信息定义定义1：随机变量 X 和Y 之间的互信息 I （ X ;Y ） 定义为：I （ X ;Y ） = H （ X ） - H （ X | Y ）或定义互信息 I （Y ; X ） 为：I （Y ; X ） = H （Y ） - H （Y | X ）可以证明二者是相等的
15、，即 I （Y ; X ） = I （ X ;Y ） 。因此， I （ X ;Y ） 和 I （Y ; X ） 是随机变量X 和Y 之间相互提供的信息。另一种定义：也可以采用直接定义 X 与Y 之间的互信息为：KJY ） = p（a , b ） logp（ak , b j ）kjk =1 j =1p（ak ） p（bj ）= D（ p（x, y） | p（x） p（ y） = E（ X ,Y ） log（ p（ X ,Y ） / p（ X ） p（Y ）可直接导出 I （ X ,Y ） = H （ X ） + H （Y ） - H （ XY ） 及0 I （ X ;Y ） min（H （ X
16、）, H （Y ）.2.3 熵与互信息的关系（1） 独立： H （ X | Y ） = H （ X ），H （Y | X ） = H （Y ） ，有 I （ X ;Y ） = 0（2） 确定： X Y , H （Y | X ） = 0 ，则 I （ X ;Y ） = H （ X ） .从而，互信息是随机变量之间相互依存度的度量信息。互信息是信息论中的一个基本概念，通常用于描述两个系统间的相关性，或者是一个系统中所包含的另一个系统信息的多少，是两个随机变量 A 和 B 之间统计相关性的量度，或是一个变量包含另一个变量的信息量的量度。它可以用熵 H （ A） 和 H （B） 来描述以及联合熵 H
17、（ A, B） ，I （ A, B） = H （ A） + H （B） - H （ A, B） = H （ A） - H （ A | B） = H （B） - H （B | A）（2.1）其中 H （ A） 和 H （B） 分别是系统 A 和 B 的熵， H （ A, B） 是 A ， B 的联合熵， H （B | A） 表示一直系统 A 时 B 的条件熵和一直系统 B 时 A 的条件熵。上述各种熵可分别表示为：H （ A） = - pA （a） log2 pA （a）aH （B） = - pB （b） log2 pB （b）bH （ A, B） = - pAB （a,b） log2 pAB
18、（a,b）a,bH （ A | B） = - pAB （a,b） log2 pA|B （a | b）H （B | A） = - p AB （a, b） log 2 pB| A （b | a）（2.2）（2.3）（2.4）（2.5）（2.6）其中， a A, b B ， pA （a） 和 pB （b） 分别是系统 A 和系统 B 完全独立时的边缘概率密度， pAB （a,b） 是系统 A 和 B 的联合概率分布， pB| A （b | a） 是已知系统 B 时 A 的条件概率分布， pA|B （a | b） 是已知系统 B 时 A 的条件概率分布，如果联合概率分布密度pAB （a,b） 满足 p
19、AB （a,b） = pA （a） pB （b） ，则随机变量 A 和 B 相互独立;如果 A 和 B 满足某映射关系T 使 pA （a） = pB （T （a） = pAB （a,T （a） ，则随机变量 A 和 B 最大相关。在通信系统中，信源 X 和Y 信宿是相互联系的，因此，收到Y 的条件下，对信源X 具有一定的了解，但仍然对 X 有不确定度，即条件熵 H （ X Y ） ，但总小于绝对熵H （ X ） 。对信源 X 的了解程度（确定度）为 H （ X ） - H （ XY ） 得到结论：差值度量了确定度。同样，在确值信源发送X的条件下，差值 H （Y ） - H （Y | X ） 度
20、量了对Y 的了解程度。3 信息熵在图像分割中的应用3.1 图像分割的基本概念图像分割是图像处理和分析的关键步骤，也是一种基本的计算机视觉技术。当今信息熵主要应用在图像分割技术中。为了识别和分析目标，图像分割把图像分各具特性的区域。这些特性可以是灰度、颜色、纹理等，目标可以对应单个区域，也可以对应多个区域。基于熵的图像分割方法，尽可能减少了图像信息的损失，因此可用于复杂背景，而且这种方法有很多。随着计算机技术和数学理论的不断发展，人工智能、神经网络、遗传算法、模糊理论的不断完善，以及处理的图像越来越复杂，单一的方法已不能满足人们的需求，因此，研究多方法的结合是这一领域的趋势。3.1.1 图像分割
21、的研究现状图像分割是图像处理中的一项关键技术，也是一经典难题，自 20 世纪 70 年代起一直受到人们的高度重视，至今已提出了上千种分割算法。但发展至今仍没有找出一个通用的分割理论，现提出的分割算法大都是针对具体问题的，并没有一种适合所有图像的通用分割算法。另外，也还没有制定出判断分割算法好坏和选择适用分割算法的标准，这给图像分割技术的应用带来许多实际问题。3.1.2 图像分割的方法（1） 基于阈值的分割这是一种最常用的区域分割技术，阈值是用于区分不同目标的灰度值。如果图像只有目标和背景两大类，那么只需选取一个阈值称为单阈值分割。这种方法是将图像中每个像素的灰度值和阈值比较，灰度值大于阈值的像素为一类，灰度值小于阈值的像素为另一类。如果图像中有多个目标，就需要选取多个阈值将各个目标分开，这种方法称为多阈值分割。为区分目标还需要对多个区域进行标记。阈值又可分为全局阈值，局部阈值和动态阈值，阈值分割的结果依赖于阈值的选取，确定阈值是阈值分割的关键，阈值分割实质上就是按照某个标准求出最佳阈值的过程。常用的全局阈值选取方法有利用图像灰度直方图的峰谷法，最小误差法，最大类间方差法，最大熵自动阈值法以及其他一些方法。（2） 基于区域的分割基于区域的分割技术有两种基本形式：区域生长和分裂合并。前者是从单像素出 发，
