1、合肥工业大学 计算机与信息学院 图像信息处理研究室 Tel:2901393 Email:http:/,盲信号分离及其应用,曹薇合肥工业大学 图像信息处理研究室,合肥工业大学 计算机与信息学院 图像信息处理研究室 Tel:2901393 Email:http:/,一个有趣的现象,鸡尾酒会效应 Cocktail Party Effect,合肥工业大学 计算机与信息学院 图像信息处理研究室 Tel:2901393 Email:http:/,在某个聚会上，我们正在相互交谈，当然同一时刻同一场景下其他人的交谈也在同时进行着，可能还有乐队的音乐伴奏，这时整个会场上是一片嘈杂。但是非常奇妙的是，作为交谈对象
2、的双方，我们能够在这混乱的众多声音中很清晰的听到对方的话语，当然，如果我们偶尔走神，将精力放在乐队奏出的音乐时，我们也同样可以听清楚音乐的主旋律，或许还可以记起它的名字呢。,合肥工业大学 计算机与信息学院 图像信息处理研究室 Tel:2901393 Email:http:/,这种可以从由许多声音所构成的混合声音中选取自己需要的声音而忽视其他声音的现象就是鸡尾酒会效应。,合肥工业大学 计算机与信息学院 图像信息处理研究室 Tel:2901393 Email:http:/,信号处理领域中其他类似的应用,在阵列信号处理技术中仅仅凭借传感器的观测信号估计未知信号源的波形 在生物医学信号中提取有效信号
3、在无线通信中利用一个信道实现多用户通信服务 在语音识别中达到“鸡尾酒会效应”,合肥工业大学 计算机与信息学院 图像信息处理研究室 Tel:2901393 Email:http:/,如何在这种从观察到的混合信号中分离出源信号的问题就是所谓的盲分离（Blind Signal Separation,BSS）问题，有时也被称为盲源分离（Blind Source Separation）问题12,合肥工业大学 计算机与信息学院 图像信息处理研究室 Tel:2901393 Email:http:/,盲的含义,源信号的形式是未知的 源信号的混合方式也是未知的,合肥工业大学 计算机与信息学院 图像信息处理研究室
4、 Tel:2901393 Email:http:/,盲信号分离简介,盲信号分离的基本分类盲信号分离的发展状况,合肥工业大学 计算机与信息学院 图像信息处理研究室 Tel:2901393 Email:http:/,分类,线性瞬时混合线性卷积混合非线性混合,单通道信号盲分离 多通道信号盲分离,返回,合肥工业大学 计算机与信息学院 图像信息处理研究室 Tel:2901393 Email:http:/,发展状况,盲信号分离是一种功能强大的信号处理方法 对其研究始于二十世纪八十年代中后期 有关的理论和算法都已经取得了较大的发展 对于线性瞬时混合信号的分离问题、卷积混合信号的分离问题以及非线性混合信号的分
5、离问题都做了深入的研究，提出了许多经典算法 用于语音信号分离、图像特征提取和医学脑电信号的分离等方面,合肥工业大学 计算机与信息学院 图像信息处理研究室 Tel:2901393 Email:http:/,本次讲座的主要内容,盲分离的基本理论 解决盲分离问题的典型算法 盲分离的应用、研究现状和发展趋势,合肥工业大学 计算机与信息学院 图像信息处理研究室 Tel:2901393 Email:http:/,基本理论,盲信号分离的数学建模盲信号分离的可解性与独立性分析 盲信号分离的目标函数 盲信号分离的优化算法,合肥工业大学 计算机与信息学院 图像信息处理研究室 Tel:2901393 Email:h
6、ttp:/,数学建模,线性瞬时混合盲信号分离的数学建模 线性卷积混合盲信号分离的数学建模非线性（Post-Nonlinear,PNL）混合盲信号分离的数学建模,返回,合肥工业大学 计算机与信息学院 图像信息处理研究室 Tel:2901393 Email:http:/,线性瞬时混合盲信号分离的数学建模,S1(t)，S2(t)Sn(t)是一个随机的时间序列，用m个话筒表示接收到的混合信号，用X1(t)，X2(t)Xm(t)来表示。它们有如下关系：,合肥工业大学 计算机与信息学院 图像信息处理研究室 Tel:2901393 Email:http:/,其中aij是混合系数，aij也是未知的，在线性瞬时
7、混合中，一般假定aij是未知的常数矩阵,合肥工业大学 计算机与信息学院 图像信息处理研究室 Tel:2901393 Email:http:/,盲分离问题需要解决的问题就是如何从接收到的观察信号中，估计出源信号S1(t)，S2(t)Sn(t)和混合矩阵的过程。实际上式还应该存在一个干扰存项，如果考虑到噪声的迅在，那么上式可以推广到更一般的情况，即为：,合肥工业大学 计算机与信息学院 图像信息处理研究室 Tel:2901393 Email:http:/,X(t)=(X1(t)，X2(t)Xm(t)T为接收到的m维随机向量，又称为观察向量，也是唯一可以利用的条件，S(t)=(S1(t)，S2(t)S
8、n(t)T是n维独立的源信号组成的向量，又称为隐含向量，因为它们是未知的观察不到的向量，有时也称为独立分量，n(t)为噪声向量，A是aij系数组成的混合矩阵。,合肥工业大学 计算机与信息学院 图像信息处理研究室 Tel:2901393 Email:http:/,盲分离问题就是求得一个分离矩阵W，通过W就可以仅从观察信号X(t)中恢复出源信号S(t)。设y(t)是源信号的估计矢量，则分离系统可由下式表示：,返回,合肥工业大学 计算机与信息学院 图像信息处理研究室 Tel:2901393 Email:http:/,卷积混合盲信号分离的数学建模,更为一般的情况考虑到延迟和滤波的混迭信号的线性混合。这
9、通常被称为卷积混合。,合肥工业大学 计算机与信息学院 图像信息处理研究室 Tel:2901393 Email:http:/,x(t)=,这里x(t)和s(t)分别代表观察信号和源信号。A(k)为混叠矩阵，又称为冲激响应。,合肥工业大学 计算机与信息学院 图像信息处理研究室 Tel:2901393 Email:http:/,盲反卷积（Blind Deconvolusion,BD）的数学模型,y(t)=,盲反卷积又被称为盲均衡(Blind Equalization)，其中W(k)被称为均衡器系数矩阵。,合肥工业大学 计算机与信息学院 图像信息处理研究室 Tel:2901393 Email:http
10、:/,因为传输的延时以及接收系统频响的差异，瞬时混合系统盲分离算法一般不能够处理卷积混合问题。一类很有研究前景的方法就是频域盲源分离算法116，利用频域算法可以提高BSS方法的收敛速度和学习速度，另外时域卷积问题可以变换为频域相乘问题。,返回,合肥工业大学 计算机与信息学院 图像信息处理研究室 Tel:2901393 Email:http:/,非线性混合盲信号分离的数学建模,主要介绍一种研究最为广泛的非线性混合模型后非线性混合信号的盲分离。,合肥工业大学 计算机与信息学院 图像信息处理研究室 Tel:2901393 Email:http:/,即将源信号线性混合后再通过一个非线性函数得到观察信号
11、,合肥工业大学 计算机与信息学院 图像信息处理研究室 Tel:2901393 Email:http:/,求解分两个步骤：1.寻找一个非线性函数g()，使得g()=f 1()，即非线性的校正阶段。2.与线性瞬时混合的盲分离求解一样寻找一个分离矩阵，求得源信号的近似。,返回,合肥工业大学 计算机与信息学院 图像信息处理研究室 Tel:2901393 Email:http:/,可解性与独立性分析,可解性分析独立性分析,合肥工业大学 计算机与信息学院 图像信息处理研究室 Tel:2901393 Email:http:/,为了简单起见，我们考虑无噪（noise free）情况，即n(t)很小，可以忽略不
12、计,方程的个数小于未知量的个数，因此以数学观点看来，这是个无解的问题。已经证明了在满足一定假设的条件下，仍然可以通过某些方法来求解上述问题,合肥工业大学 计算机与信息学院 图像信息处理研究室 Tel:2901393 Email:http:/,盲分离问题的假设条件：,源信号S1(t)，S2(t)Sn(t)在统计上是相互独立的 A是列满秩的常数矩阵源信号是非高斯信号且至多有一个是高斯信号,合肥工业大学 计算机与信息学院 图像信息处理研究室 Tel:2901393 Email:http:/,即若能够找到分离矩阵W，使得输出信号,合肥工业大学 计算机与信息学院 图像信息处理研究室 Tel:290139
13、3 Email:http:/,且Y(t)的各个分量之间也满足相互独立，则Y(t)就是原始信号矢量S(t)的完好恢复，此时矩阵乘积WA与某一广义交换矩阵G相等，盲分离问题的框图如图6.1所示。,合肥工业大学 计算机与信息学院 图像信息处理研究室 Tel:2901393 Email:http:/,盲信号分离的框图,合肥工业大学 计算机与信息学院 图像信息处理研究室 Tel:2901393 Email:http:/,Tong指出，当参数化盲信号分离问题的满秩矩阵可以分解为一个满秩的对角矩阵和排列矩阵（即初等矩阵）的乘积时，此时源信号的波形可以得到恢复，并由此定义了盲信号分离问题的可解性。,合肥工业大
14、学 计算机与信息学院 图像信息处理研究室 Tel:2901393 Email:http:/,事实上，在盲分离过程中，源信号的分离还具有模糊性，混合矩阵的辨识是有关病态（ill-posed）的问题。,合肥工业大学 计算机与信息学院 图像信息处理研究室 Tel:2901393 Email:http:/,主要表现,尽管可以正确的将源信号分离开来，但是我们并不知道它们的排列顺序，这就相当于同时交换输入信号和混合矩阵与之对应的列的位置后，所得到的观察信号仍然是相同的。一个信号和与之对应的混合矩阵的列之间互换一个固定的比例因子，对观察向量不产生任何影响。,合肥工业大学 计算机与信息学院 图像信息处理研究室
15、 Tel:2901393 Email:http:/,即盲信号分离的模糊性表现为分离信号排列的不确定性和波形振幅的不确定性。,合肥工业大学 计算机与信息学院 图像信息处理研究室 Tel:2901393 Email:http:/,但是源信号中几乎所有的信息都已经包含在我们分离出来的波形中，它能够满足我们进行下一步的分析研究。所以这两种不确定性并不影响盲分离技术应用。,返回,合肥工业大学 计算机与信息学院 图像信息处理研究室 Tel:2901393 Email:http:/,独立性分析,如果能够找到矩阵W使得其输出Y(t)=WX(t)的各个分量之间也两两独立，则Y(t)就是原始信号S(t)的完好的恢
16、复，此时矩阵乘积WA与某一广义交换矩阵G相等。,合肥工业大学 计算机与信息学院 图像信息处理研究室 Tel:2901393 Email:http:/,独立性的定义,设p(y1,y2)是y1(t),y2(t)的联合概率密度，假设y1(t)与 y2(t)的边缘概率密度分别p1(y1)和p2(y2)，如果有以下关系：,p2(y2)也有上述相似的关系式成立，那么称y1(t)与 y2(t)为相互独立。,合肥工业大学 计算机与信息学院 图像信息处理研究室 Tel:2901393 Email:http:/,由于随机变量的概率密度一般都是未知的，另外一个角度来理解独立的概念,合肥工业大学 计算机与信息学院 图
17、像信息处理研究室 Tel:2901393 Email:http:/,对于两个随机变量y1(t)和y2(t)，如果Cov(y1,y2)=Ey1y2-Ey1Ey2=0，那么y1和y2不相关；如果Ey1py2q-Ey1pEy2q=0，p和q对任何整数都成立，则y1和y2统计独立,合肥工业大学 计算机与信息学院 图像信息处理研究室 Tel:2901393 Email:http:/,衡量独立性的测度,在BSS问题中，用某一个目标函数来测定，通常的ICA算法就是选定某个目标函数，然后用某种方法来进行优化9。即独立分量分析目标函数优化算法,合肥工业大学 计算机与信息学院 图像信息处理研究室 Tel:2901
18、393 Email:http:/,算法的一致性、鲁棒性等依赖于目标函数的选择 算法特性如收敛性、数值稳定性则依赖于优化算法,合肥工业大学 计算机与信息学院 图像信息处理研究室 Tel:2901393 Email:http:/,盲信号分离的目标函数,负熵高阶累积量互信息Kullback-Leibler（K-L）散度,返回,合肥工业大学 计算机与信息学院 图像信息处理研究室 Tel:2901393 Email:http:/,在信号的平均功率受限时，具有高斯分布信号的熵最大所以为了描述同高斯信号有相同的功率的非高斯信号的熵的情况，定义负熵这样的概念。任意信号y的负熵J(y)可以表示为：,合肥工业大学
19、 计算机与信息学院 图像信息处理研究室 Tel:2901393 Email:http:/,其中ygauss为高斯分布函数，它同变量y有相同的期望和方差，即负熵表示两个具有相同均值和方差的随机向量的差熵的差值。在方差恒定的情况下，高斯分布的随机变量的差熵最大，用高斯分布的随机向量的差熵作为上式的第一项，所以负熵总是非负的，而且负熵具有在正交变换下的不变性。,合肥工业大学 计算机与信息学院 图像信息处理研究室 Tel:2901393 Email:http:/,同时由于负熵是两个熵的差，因而能够满足尺度不变原理。负熵的最大化，相当于Y的差熵是最远离高斯分布的差熵。注意负熵是在随机向量的方差一定的情况
20、下推倒出来的，所以在计算负熵时必须先固定方差。,合肥工业大学 计算机与信息学院 图像信息处理研究室 Tel:2901393 Email:http:/,负熵的近似：利用标准化的累积量去近似表示这些概率密度,Gram-Charlier展开Edgeworth展开,返回,合肥工业大学 计算机与信息学院 图像信息处理研究室 Tel:2901393 Email:http:/,高阶累积量的定义,高阶累积量是非高斯性测量的一个重要方法。设随机变量x的概率密度函数为f(x)，则x的特征函数为：,合肥工业大学 计算机与信息学院 图像信息处理研究室 Tel:2901393 Email:http:/,合肥工业大学 计
21、算机与信息学院 图像信息处理研究室 Tel:2901393 Email:http:/,合肥工业大学 计算机与信息学院 图像信息处理研究室 Tel:2901393 Email:http:/,累积量的物理意义,一阶累积量是随机变量的数学期望，大致地描述了概率分布的中心 二阶累积量是方差，它反映的是概率分布的离散程度 三阶累积量是三阶中心矩，描述的是概率分布的非对称性 四阶累积量描述的是概率函数同高斯分布的偏离程度,合肥工业大学 计算机与信息学院 图像信息处理研究室 Tel:2901393 Email:http:/,非高斯性的测量可以用4阶累积量的绝对值或平方值为零的是高斯变量，大于零的为非高斯变量
22、,返回,合肥工业大学 计算机与信息学院 图像信息处理研究室 Tel:2901393 Email:http:/,在信息论中假设一个随机系统中输入为X，输出为Y，当X和Y为离散随机变量时，X和Y之间的互信息I(X;Y)被定义为：,合肥工业大学 计算机与信息学院 图像信息处理研究室 Tel:2901393 Email:http:/,I(X;Y)=H(X)-H(X|Y),合肥工业大学 计算机与信息学院 图像信息处理研究室 Tel:2901393 Email:http:/,互信息与熵之间的关系,互信息的最小化和熵的最大化即可获得最大的独立性,返回,合肥工业大学 计算机与信息学院 图像信息处理研究室 Te
23、l:2901393 Email:http:/,如果Y中各个元素相互独立，那么也就是满足联合概率密度函数是各个边缘概率密度函数积的形式，那么要衡量联合概率密度函数和各个边缘概率密度函数积之间的差，就是要考虑系统整个空间的关系，我们利用Kullback-Leibler（K-L）散度来表示,合肥工业大学 计算机与信息学院 图像信息处理研究室 Tel:2901393 Email:http:/,定义,设两个随机变量的概率密度函数分别为fx(x)和fy(y)，,返回,合肥工业大学 计算机与信息学院 图像信息处理研究室 Tel:2901393 Email:http:/,优化算法大致分为两类,批处理 成对旋转
24、法；MAXKURT法、JADE法、SHIBBS法等自适应处理 自然梯度算法,返回,合肥工业大学 计算机与信息学院 图像信息处理研究室 Tel:2901393 Email:http:/,解决BSS问题的经典算法,H-J算法最大熵算法最小互信息算法最大似然算法定点算法非线性PCA算法其他模型的算法概述,合肥工业大学 计算机与信息学院 图像信息处理研究室 Tel:2901393 Email:http:/,H-J算法,Herault 和Jutten可能是最早对盲信号分离问题进行研究的30，他们引进了仿神经的方法61。他们的算法为逐步调整权重的神经网络,合肥工业大学 计算机与信息学院 图像信息处理研究室
25、 Tel:2901393 Email:http:/,合肥工业大学 计算机与信息学院 图像信息处理研究室 Tel:2901393 Email:http:/,运用梯度下降法，Herault and Jutten提出了如下的学习规则：,和,是非线性奇函数，,是学习率,合肥工业大学 计算机与信息学院 图像信息处理研究室 Tel:2901393 Email:http:/,H-J算法中使用了非线性函数，这里一般将f()和g()用以下的函数表示：,或者,合肥工业大学 计算机与信息学院 图像信息处理研究室 Tel:2901393 Email:http:/,算法的实质就是引入了信号的高阶统计信息，其学习规则是H
26、ebb学习规则在高阶意义下的推广，不过由于学习每一步过程中都要对矩阵（I+W）求逆，导致运算量增加。,合肥工业大学 计算机与信息学院 图像信息处理研究室 Tel:2901393 Email:http:/,H-J算法中非线形函数的选取具有随意性，在理论上没有给出令人满意的收敛性证明，但是在实际应用中的收敛性相当不错。不过需要注意的是H-J算法仅用于观察信号数目与源信号数目相同的情况下，仍然具有一定的局限性。,返回,合肥工业大学 计算机与信息学院 图像信息处理研究室 Tel:2901393 Email:http:/,最大熵算法,从信息理论角度来考虑，盲信号分离问题就是一个以分离系统最大熵为准则，利
27、用神经网络或自适应算法，通过非线性函数来间接获得高阶累积量的过程。,合肥工业大学 计算机与信息学院 图像信息处理研究室 Tel:2901393 Email:http:/,这种方法的思想就是当神经元输出Z的各个分量zi相互独立时，其熵最大，所以这种方法又称为最大熵(Maximum Entropy,ME)方法。,合肥工业大学 计算机与信息学院 图像信息处理研究室 Tel:2901393 Email:http:/,Bell和Sejnowski的这种方法25是将Linskers的信息传输最大化理论1762推广到非线性单元来处理任意分布的输入信号。,合肥工业大学 计算机与信息学院 图像信息处理研究室 T
28、el:2901393 Email:http:/,这一原理具体内容如下：假设信号通过S型函数传输时，如果该S型函数的斜率部分与信号的高密部分保持一致时，则可以实现信息的最大化传输。这一原理可以使用梯度下降法通过自适应方式来实现。,合肥工业大学 计算机与信息学院 图像信息处理研究室 Tel:2901393 Email:http:/,由最大熵原理可以知道，当输出熵最大时，互熵也最大，即有最多的信息通过了可逆变换从输入端传输到输出端。,合肥工业大学 计算机与信息学院 图像信息处理研究室 Tel:2901393 Email:http:/,这时输入变量的概率密度函数和可逆变换G之间的关系由Linsker的
29、最多信息原理（Infomax Principle）描述：当函数G的最陡部分与输入变量的最陡概率部分向重合时，最大的信息从输入端传导了输出端。所以有时候也把Bell和Sejnowski的这种方法称为Infomax算法。,合肥工业大学 计算机与信息学院 图像信息处理研究室 Tel:2901393 Email:http:/,最大熵算法网络结构示意图,合肥工业大学 计算机与信息学院 图像信息处理研究室 Tel:2901393 Email:http:/,对于最大熵算法所处理的最基本的问题就是要使得一个神经网络处理单元的输出Y(t)中包含的关于其输入X(t)的互信息最大。,合肥工业大学 计算机与信息学院
30、图像信息处理研究室 Tel:2901393 Email:http:/,互信息定义如下：,合肥工业大学 计算机与信息学院 图像信息处理研究室 Tel:2901393 Email:http:/,其中H(Y)是输出的熵，H(Y|X)则是输出中不是从输入产生的熵，称为条件熵。在没有噪声的情况下（或者说我们不知道什么是噪声，什么是输入信号），X和Y之间的映射是确定的，并且H(Y|X)有它的最低值，趋于。,合肥工业大学 计算机与信息学院 图像信息处理研究室 Tel:2901393 Email:http:/,单输入单输出的情况,以输出y的差熵作为目标函数，利用梯度下降法,合肥工业大学 计算机与信息学院 图像
31、信息处理研究室 Tel:2901393 Email:http:/,当传递函数g(x)为如下形式的型函数，即,其中w0为偏置权值,合肥工业大学 计算机与信息学院 图像信息处理研究室 Tel:2901393 Email:http:/,单输入单输出网络的学习规则,合肥工业大学 计算机与信息学院 图像信息处理研究室 Tel:2901393 Email:http:/,多输入多输出网络的学习规则,合肥工业大学 计算机与信息学院 图像信息处理研究室 Tel:2901393 Email:http:/,理论和试验已经证明了，这个算法只能够分离出超高斯信号的混合，这个限制的重要原因是因为在算法中使用了非线性函数l
32、ogistic，非线性函数是logistic就相当于强加一个先验知识超高斯分布给源信号。,返回,合肥工业大学 计算机与信息学院 图像信息处理研究室 Tel:2901393 Email:http:/,对于该算法不能够同时分离出超高斯信号和亚高斯信号混合信号，Lee.M.Girolami 和T.J.Sejnowski.提出了一种扩展的Infomax算法，它能够弥补以上算法的不足33。,合肥工业大学 计算机与信息学院 图像信息处理研究室 Tel:2901393 Email:http:/,最小互信息算法,最小互信息（Minimum Mutual Information,MMI）的基本思想是选择神经网络
33、的权值矩阵W，使得输出Y的各个分量之间的相关性最小化。这里的信号间的相互依赖关系可以用Y的概率密度函数及其各个边缘概率密度函数的乘积间的K-L散度来表示。,合肥工业大学 计算机与信息学院 图像信息处理研究室 Tel:2901393 Email:http:/,Pierrie Comon早在1994年就证明了互信息是独立分量分析的代价函数5。,在使用互信息作为信号分离的代价函数时，对输出的各个分量无需使用非线性变换这种预处理手段。,合肥工业大学 计算机与信息学院 图像信息处理研究室 Tel:2901393 Email:http:/,由随机梯度算法得到,其中 为学习率，函数的选取与独立元的本身性质有关。,合肥工业大学 计算机与信息学院 图像信息处理研究室 Tel:2901393 Email:http:/,参数化系统的随机梯度优化方法的主要缺点是其收敛的速度比较慢。,如果将一可逆的矩阵G-1作用于
