神经网络在模式识别中的简单分析及应用.doc
- 文档编号:2410466
- 上传时间:2023-05-03
- 格式:DOC
- 页数:47
- 大小:1.42MB
神经网络在模式识别中的简单分析及应用.doc
《神经网络在模式识别中的简单分析及应用.doc》由会员分享,可在线阅读,更多相关《神经网络在模式识别中的简单分析及应用.doc(47页珍藏版)》请在冰点文库上搜索。
摘要
模式识别就是机器识别、计算机识别或者机器自动化识别,目的在于让机器自动识别事物,使机器能做以前只能由人类才能做的事,具备人所具有的对各种事物与现象进行分析、描述与判断的部分能力。
它研究的目的就是利用计算机对物理对象进行分类,在错误概率最小的条件下,使识别的结果尽量与客观事物相符合。
随着人们对人工神经网络的不断地认识,神经网络是指用大量的简单计算单元构成的非线性系统,它在一定程度和层次上模仿了人脑神经系统的信息处理、存储及检索功能,因而具有学习、记忆和计算等智能处理功能。
这样人们利用人工神经网络具有高度的并行性,高度的非线性全局作用以及良好的容错性与联想记忆功能,并且具有良好的自适应、自学习功能等突出特点,可运用MATLAB神经网络工具箱中的神经网络模型,对经过训练的神经网络可以有效地提取信号、语音、图像等感知模式的特征,并能解决现有启发式模式识别系统不能很好解决的不变量探测、抽象和概括等问题。
这样神经网络可应用于模式识别的特征提取、聚类分析、边缘检测、信号增强以及噪声抑制、数据压缩等各个环节。
使用机器来进行模式的识别是一项非常有用的工作,能够辨别符号等系列的机器是很有价值的。
目前,模式识别技术可以应用指纹识别、IC卡技术应用、字符识别等实例。
模式识别成为人工神经网络特别适宜求解的一类问题。
因此,神经网络技术在模式识别中也得到广泛应用与发展。
关键词:
模式识别;人工神经网络;神经网络模型;神经网络技术
-44-
Abstract
PatternRecognitionisthemachineidentification,computeridentificationoridentificationofmachineautomation,machineaimedatautomaticidentificationofthingstodobeforethemachinecanonlybemadebymancando,withpeoplewithallkindsofthingsandonananalysisofthephenomenon,describedwiththeabilitytodeterminethepart.Itisthepurposeofthestudyofthephysicalobjecttousethecomputerforclassification,theprobabilityofthesmallestinthewrongconditions,sothattheresultsofrecognitionasfaraspossibleinlinewithobjectivethings.
Asartificialneuralnetworktorecognizethecontinuing,neuralnetworkreferstoalargenumberofsimplecalculationunitconsistingofnon-linearsystem,whichtosomeextentandlevelsystemtoimitatethehumanbrain'sinformationprocessing,storageandretrievalfunctions,whichhaslearning,memoryandcomputingfunctionssuchasintelligentprocessing.Suchpeopletouseartificialneuralnetworkwithahighdegreeofparallelism,theoverallroleofahighdegreeofnon-linearandgoodfaulttoleranceandassociativememoryfunction,andhavegoodself-adaptive,self-learningfunction,suchasprominentfeatures,theavailabilityofMATLABneuralnetworktoolboxTheneuralnetworkmodeltrainedneuralnetworkcaneffectivelyextractthesignal,voice,videoandotherfeaturesofperceptualpatternsandheuristicstosolvetheexistingpatternrecognitionsystemsarenotwellresolvedinvariantdetection,suchasabstractandsummaryissues.Thisneuralnetworkpatternrecognitioncanbeappliedtofeatureextraction,clusteringanalysis,edgedetection,signalenhancementandnoisesuppression,datacompression,suchasvariouslinks.Theuseofmachinesforpatternrecognitionisaveryusefulwork,suchasseriesofsymbolstoidentifythemachinesareofgreatvalue.Atpresent,thepatternrecognitiontechnologycanbeappliedtofingerprintidentification,ICcardtechnologyapplications,suchasexamplesofcharacterrecognition.Artificialneuralnetworkpatternrecognitionhasbecomeespeciallysuitableforsolvingaclassofproblem.Therefore,theneuralnetworkpatternrecognitiontechnologyisalsowidelyusedanddevelopment.
Keywords:
patternrecognition;artificialneuralnetwork;neuralnetworkmodel;neuralnetworktechnology
目录
引言 -1-
1模式识别概述 -1-
1.1模式识别基本概念 -1-
1.2模式识别系统 -2-
1.3模式识别的主要方法 -2-
1.4模式识别应用 -3-
2人工神经网络概述 -4-
2.1人工神经元模型 -4-
2.1.1阀值函数、Sigmoid函数和分线段性函数 -5-
2.2人工神经网络模型 -5-
2.3神经网络学习特点 -6-
2.4人工神经网络在模式识别问题中应用优势 -6-
3神经网络模式识别 -7-
3.1基于BP神经网络的模式识别 -7-
3.1.1BP神经网络模型简述 -7-
3.1.2BP学习算法 -8-
3.1.3BP神经网络应用于字符识别 -9-
3.2基于径向基函数神经网络的模式识别 -16-
3.2.1径向基函数神经网络模型简述 -17-
3.2.2径向基函数神经网络应用特征模式的分类 -18-
3.3基于自组织竞争神经网络的模式识别 -19-
3.3.1自组织竞争神经网络基本思想 -20-
3.3.2自组织竞争神经网络设计模式分类器的应用 -20-
3.4基于反馈型神经网络的模式识别 -24-
3.4.1反馈型神经网络模型简述 -24-
3.4.2反馈型神经网络在工程领域的应用 -24-
4实验分析与总结 -31-
参考文献 -32-
附录 -33-
引言
模式识别的具体过程大致是对研究对象进行数据采集,数据预处理,特征提取和选择以及模式分类四步骤。
在此,运用MATLAB神经网络工具箱中的神经网络模型,利用人工神经网络技术解决有关模式识别的简单问题。
1模式识别概述
1.1模式识别基本概念
模式识别就是机器识别、计算机识别或者机器自动化识别,目的在于让机器自动识别事物,使机器能做以前只能由人类才能做的事,具备人所具有的对各种事物与现象进行分析、描述与判断的部分能力。
它研究的目的就是利用计算机对物理对象进行分类,在错误概率最小的条件下,使识别的结果尽量与客观事物相符合。
机器辨别事物最基本的方法是计算,原则上说是对计算机要分析的事物与标准模板的相似程度进行比较计算。
对于一些比较简单的模式识别问题,可以认为模式识别就是模式分类。
如对于识别“0”到“9”这10个阿拉伯数字的课题研究,可以将其转化为把待识别的字符分为从“0”到“9”这十类中某一类的问题。
但是,对于比较复杂的识别问题,仅用简单的模式分类就很难实现模式识别,因此还需要对待识别模式进行有关特征描述。
在模式识别技术中,被待观测的每个对象称为样品。
对于一个样品来说,必须确定一些与识别有关的因素作为研究的依据,每一个因素称为一个特征。
模式就是样品所具有特征的描述。
模式特征集又可用处于同一个特征空间的特征向量表示。
如果一个样品有个特征,则可以把看作一个维列向量,该向量称为特征向量。
这样,模式识别问题就是根据的个特征来判断模式属于哪一类。
待识别的不同模式都在同一特征空间中考察,不同模式类由于性质上的不同,它们在各特征取值范围内有所不同,因而会在不同的特征空间的不同区域中出现,因此,模式识别系统的目标是在特征空间和解释空间之间找到一种映射关系。
特征空间由从模式得到的对分类有用的度量、属性以及基元构成的空间。
解释空间是由所有不同所属类别的集合构成。
正因如此,在模式识别过程中,要对许多具体对象进行观测,以获得许多观测,其中有均值、方差、协方差和协方差矩阵等。
1.2模式识别系统
对于一个具体的模式识别问题,一般要进行数据采集、数据预处理、特征提取与选择以及模式分类四步骤。
研究模式识别过程实际上就是实现由数据空间经特征空间到类别空间的映射。
在模式识别中,通常将经数据预处理后的原始数据所在的空间称为测量空间,把分类进行的空间叫做特征空间。
一个模式识别系统是由学习模块和测试模块两个模块组成,如图1-2所示。
模式分类决策
未知模式特征提取和选择
未知模式数据获取
识别结果
数据预处理
改进判别规则
确定判别规则
训练样本特征提取和选择
数据预处理
训练样品特征数据输入
误差检测
调整特征提取与选择
图1-2 模式识别系统示意
在两个模块中都需要数据的预处理,而数据预处理功能是多方面的,如除去噪声信号的边缘影响;将研究有关的模式分离;对模式样品标准化等。
训练模式样本的特征数据输入过程,就是将已知的模式样品进行数值化后载入计算机。
这样对于输入样品进行分析,除去对分类无用或者易造成混淆的特征,尽量保留对分类判别有效的数值特征,于是完成模式识别的特征选择。
接下来就是按照设定的分类判别模型对给定的训练样品进行训练,得到分类的判别规则,有了判别规则就可以进行模式识别过程,最后得到输出识别结果。
1.3模式识别的主要方法
模板匹配方法、结构模式识别和统计模式识别是目前常用的模式识别方法。
模板匹配模式识别是通过比较待识别模式和已有模式的相似程度来达到识别模式的目的,也是应用最早最简单的模式识别形式。
随着科学技术的发展和研究对象的深入,模式识别问题也变得非常复杂多变,这就要求人们对于事物的识别不仅局限于简单的模式分类,还需要应对模式结构作全面完善的描述,从而需要运用结构模式识别方法。
但是目前,研究最多也较为深入的模式识别方法是统计模式识别,神经网络模式识别技术也可以归为到这类方法中。
在统计模式识别中,每一个模式采用多维特征或测量值来表示,最终的目的是由这些特征构成的空间能将各模式类有效的分离。
统计模式识别主要研究对象的因素包括特征的提取和优化、分类判别和聚类判别。
如何确定合适的特征空间是设计模式识别系统一个非常重要的问题,对特征空间进行优化可以采用特征选择和特征组合优化两种基本方法。
对于已知若干个样品的类别以及特征,我们需要对分类问题建立一个样品库。
根据这些样品库建立判别分类函数,这就让机器学习来实现,然后对某些未知的新对象分析它们的特征以至决定它们属于哪一类,就需要有监督学习的方法。
有时候,已知若干对象和它们的特征,但不知道每个对象属于哪一类,而且事先也并不知道究竟分为几类。
这样就可能需要考虑用某种相似性度量的方法,即运用“物以类聚,人以群分”的思想,把特征相似或相同的归为同一类,这样就采用了无监督的学习方法。
1.4模式识别应用
模式识别技术已广泛应用于文字识别、语音识别、图像识别、指纹识别、身份识别、医学诊断、工业产品检测等众多科学领域。
模式识别技术同时也是人工智能的基础技术。
随着科学技术的不断发展,模式识别不断发展和完善,模糊理论、神经网络、遗传算法和支持向量机等研究成果也渗透进来,融合形成了解决复杂问题的一种有效机制。
在运用模式识别技术中,我们需要根据具体问题与模式识别方法结合起来,同时把人工神经网络、智能计算结合起来,逐步通过模式分类、网络训练、确定优化区域,找到优化准则,从而实现优化、应用和发展。
经过多年的科学发展,文字识别是模式识别领域发展最为成熟并应用最为广泛的方面。
如手写体阿拉伯数字的识别在邮政信函自动分拣上起到重要的作用。
语音识别的难度和复杂度都很高,因为要提取语音的特征,不仅要分析语音的结构和语音的物理过程,还要涉及听觉的物理和生理过程。
但是,语音识别课题已在不同领域中运用,尤其在身份鉴别中起到很大作用。
同样地,模式识别在医学上应用也很多,如医学图片分析、染色体的自动分类、癌细胞的分类等领域。
应该可以这样说,模式识别技术在科学不断发展的推动下,已逐渐被人们所认知和认同,并能结合新的有关科学研究技术,可以有效的解决复杂多变的识别问题,提供了一种分析解决问题的重要工具。
2人工神经网络概述
2.1人工神经元模型
神经网络是指用大量的简单计算单元(神经元)构成的非线性系统,它在一定程度和层次上模仿了人脑神经系统的信息处理、存储及检索功能,因而具有学习、记忆和计算等智能处理功能。
人工神经网络结构和工作原理基本上是结合人脑的组织结构和活动规律,来反映人脑的某些基本特征,但并不是对人脑部分的真实再现。
人工神经元模型是生物神经元的模拟和抽象。
根据生物神经元的结构和工作原理,构造一个神经元如图2-1所示。
人工神经元是人工神经网络的基本单元,从图中可以看出,它相当于一个多输入单输出的非线性阀值器件。
这里的表示个神经元的输入;表示与该相连的个突触的连接强度其值成为权值,其每个元素的值可以为正负,正值的表示为兴奋型突触,负值的表示为抑制型突触;表示人工神经元的输入总和,也就是激活值,对应于生物神经细胞的膜电位;表示该神经元的输出;表示该人工神经元的阀值;表示神经元的输入输出关系函数,亦即激活函数或传输函数。
如果神经元输入的加权和大于,则该神经元被激活。
这样可以表示神经元的激活函数为.阀值一般不是一个常数,是随着神经元的兴奋程度而发生变化的。
激活函数常用的三种类型是:
阀值函数、Sigmoid函数和分线段性函数。
2.1.1阀值函数、Sigmoid函数和分线段性函数
激活函数常用的三种类型是:
阀值函数、Sigmoid函数和分线段性函数。
现简述这三种类型函数。
(1)阀值函数
阀值函数定义为:
该阀值函数通常称为阶跃函数,若激活函数采用阶跃函数,则该人工神经元模型即为著名的MP模型。
这时神经元的输出取1或0,反映了神经元的兴奋或抑制。
此外,符号函数也常作为神经元的激活函数,即表示为:
(2)Sigmoid函数
Sigmoid函数也称为型函数,是人工神经网络中最常用的激活函数。
型函数定义为:
其中是型函数的斜率参数。
通过调整参数,可以获取不同斜率的型函数。
(3)分线段性函数
分段性函数定义为:
该函数在线性区间内的放大系数是一致的。
这种形式的激活函数可看作是非线性放大器的近似。
2.2人工神经网络模型
根据神经元之间连接的拓扑结构上的不同,大致可以将神经网络结构分为两种形式,即分层型和相互连接型神经网络。
分层型网络是将一个神经网络中的所有神经元按功能分为若干层,一般有输入层、隐含层和输出层,各层顺序连接。
按网络的拓扑结构的不同,可以将分层神经网络细分为简单的前馈型网络、具有反馈型的前馈网络以及层内的互连前馈型网络。
相互连接型的神经网络则是网络中任意两个神经元之间相互连接。
随着人工神经网络技术的发展,人们对神经网络的认识已不断进步和完善,提出了许多神经网络模型,其研究应用广泛的神经网络模型是BP神经网络、径向基函数神经网络、自组织竞争神经网络、反馈型神经网络和概率神经网络等。
2.3神经网络学习特点
人工神经网络与生物神经网络一样,必须要经过学习才具有智能功能。
神经网络学习过程实际是调节权值和阀值的过程。
模仿人的学习过程,人们提出了多种神经网络的学习方式,其中主要有三种形式:
有监督学习、无监督学习和强化学习。
学习往往是一个相对持久的变化过程,也是一个推理的过程。
有监督学习是指在有“导师”指导和考察的情况下进行学习的方式,所图2-2所示。
神经网络学习系统根据一定的学习规则进行学习,每次学习过程完成后。
“导师”都要考察学习的结果是否达到所需的要求,并以此来决定网络是否需要继续学习。
无监督学习是不存在“导师”的指导和考察,是靠学习者或神经网络系统自身完成的,如图2-3所示。
其实这是一种自我学习、自我组织过程。
强化学习就介于有监督学习和无监督学习两种方式之间,如图2-4所示。
神经网络学习系统
神经网络学习系统
神经网络学习系统
输入p 实际输出a 输入p 实际输出a 输入p 实际输出
a
外部环境
误差分析
e误差条件 评价标准
期望输出
图2-2有监督学习方式图2-3无监督学习方式图2-4强化学习方式
2.4人工神经网络在模式识别问题中应用优势
人工神经网络,简称神经网络,是对人脑或自然神经网络若干基本特性的抽象和模拟,是一种基于连接学说构造的智能仿生模型,是由大量神经元组成的非线性动力系统。
以生物神经网络为模拟基础的人工神经网络试图在模拟推理和自动学习等方面发展,使得人工智能更接近人脑的自组织和并行处理功能,它在信息处理、模式识别、聚类分析和智能控制等领域应用广泛。
神经网络的主要特点是:
(1)并行协同处理信息。
神经网络中每个神经元都可以根据接受到的信息进行独立的运算和处理,并输出计算结果,同一层的各个神经元的输出结果可以被同时计算出来,然后传输给下一层做进一步处理,体现了神经网络并行处理运算的特点,这使得它具有很强的实时性。
(2)知识的分布存储能力。
在神经网络中,知识不是存储在特定的存储单元中,而是分布在整个系统中,要存储多个知识就需要更多链接。
在计算机中,只要给定一个地址就可以得到一个或一组数据。
人根据联想记忆可以正确识别图形,人工神经网络就采用联想记忆的办法来获得存储的知识,保证网络的正确性,提高了网络的容错性和鲁棒性。
(3)对信息的处理具有自组织、自学习特点,便于联想、综合和推广。
神经网络的神经元之间的连接强度用权值大小来表示,这种权值可以通过对训练样本的学习而不断变化,而且随着训练样本量的增加和反复学习,这些神经元之间的连接强度会不断增加,从而提高神经元对这些样本特征的反映灵敏度。
(4)模式识别能力。
目前有很多神经网络模型可以善于模式识别。
模式识别也是人工神经网络最重要的特征之一。
它不但可以能识别静态信息,对实时处理复杂的动态信息也显示强大的作用。
虽然模式识别往往是非常复杂的,里面的各个因素相互影响,呈现出复杂多变的非线性关系,但是人工神经网络技术为解决这类非线性问题提供了强有力的方法。
纵观人工神经网络特点,神经网络处理模式识别问题上,相比其他传统方法,具有以下优点:
首先对所处理的问题的了解要求不是很多;其次就是可以对特征空间进行更为复杂的划分;再次它适用于高速并行处理系统的实现。
事物发展总是有两面的。
人工神经网络也存在自身固有的弱点,如网络需要更多的训练数据,无法获取特征空间中的决策面,以及在非并行处理系统中的模拟运行速度慢等缺点。
3神经网络模式识别
3.1基于BP神经网络的模式识别
单层神经网络只能解决线性可分的问题,对于非线性分类问题就需要运用多层神经网络,还需要寻找训练多层神经网络的学习算法。
目前,最著名的多层神经网络学习算法应该是BP算法。
BP算法训练的神经网络就是BP神经网络。
在众多人工神经网络模型中,大部分采用BP网络或是它的变化形式,可以说BP神经网络是前馈型网络的核心部分,体现了人工神经网络最精华的部分。
BP神经网络采用的是有监督学习方式。
3.1.1BP神经网络模型简述
前馈型神经网络通常含有一个或多个隐层,隐层中的神经元基本均采用型传递函数,输出层的神经元采用线性传递函数。
BP神经网络属于前馈型神经网络,它具有前馈型神经网络的基本结构。
一个典型的BP神经网络如图3-1所示,有一个隐层,隐层神经元数目为S,隐层采用型神经元函数logsig(),具有个输入。
隐层的非线性传递函数神经元可以学习输入输出之间的线性和非线性关系,线性的输出层是为了拓宽网络输出。
输入向量神经元
图3-1BP神经网络简单模型
3.1.2BP学习算法
BP神经网络学习算法解决了多层感知器的学习问题,促进了神经网络的发展。
在BP网络学习过程主要在两个方面:
(1)工作信号正向传播:
指的是输入信号从输入层经隐层神经元,传向输出层,在输出端产生输出信号。
在信号的向前传递过程中的权值是固定不变的,每一层神经元的状态只影响下一层神经元的状态。
如果在输出层不能得到期望的输出,则转入误差信号反向传播。
(2)误差信号反向传播:
指的是网络的实际输出与期望输出之间差值即为误差信号,误差信号由输出端开始逐层向前传播。
在此过程中,网络的权值由误差信号反馈进行相应地调节。
通过权值的不断修正使网络的实际输出更接近期望输出。
但是BP算法的存在以下主要缺点:
收敛速度慢、局部极限、难以确定隐层和隐层节点个数。
针对BP算法这些缺点,出现了许多改进算法。
BP算法的改进主要有两种途径:
一种采用启发式学习算法,另一种则是采用更有效的优化算法。
所谓启发式算法就是对于表现函数梯度加以分析,从而改进算法,其中包括:
有动量的梯度下降法(traingdm)、有自适应lr的下降法(traingda)、有动量和
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 神经网络 模式识别 中的 简单 分析 应用
![提示](https://static.bingdoc.com/images/bang_tan.gif)