1、人工智能导论调研报告资料人工智能导论调研报告BP 神经网络的非线性函数拟合1人工智能有关介绍1.1 人工神经网络与 matlab人工神经网络（ Artificial Neural Networks，NN ）是由大批的、简单的办理单元（称为神经元） 宽泛地相互连结而形成的复杂网络系统， 它反应了人脑功能的很多基本特点， 是一个高度复杂的非线性动力学系统。 神经网络拥有大规模并行、散布式储存和办理、自组织、自适应和自学习能力，特别适合办理需要同时考虑很多要素和条件的、 不精准和模糊的信息办理问题。 神经网络的发展与神经科学、数理科学、认知科学、计算机科学、人工智能、信息科学、控制论、机器人学、微电
2、子学、心理学、微电子学、心理学、光计算、分子生物学等有关，是一门新兴的边沿交错学科。神经网络拥有非线性自适应的信息办理能力， 战胜了传统人工智能方法关于直觉的缺点，因此在神经专家系统、模式辨别、智能控制、组合优化、展望等领域获取成功应用。 神经网络与其余传统方法相组合， 将推感人工智能和信息办理技术不停发展。 最近几年来，神经网络在模拟人类认知的道路上更为深入发展， 并与模糊系统、遗传算法、进化体制等组合，形成计算智能，成为人工智能的一个重要方向。MATLAB 是一种科学与工程计算的高级语言，宽泛地运用于包含信号与图像办理，控制系统设计， 系统仿真等诸多领域。 为认识决神经网络问题中的研究工作
3、量和编程计算工作量问题，当前工程领域中较为流行的软件 MATLAB ，供应了现成的神经网络工具箱（ Neural Network Toolbox，简称 NNbox ），为解决这个矛盾供应了便利条件。 神经网络工具箱供应了好多经典的学习算法， 使用它能够迅速实现对实质问题的建模求解。 在解决实质问题中， 应用 MATLAB 语言结构典型神经网络的激活传达函数， 编写各种网络设计与训练的子程序， 网络的设计者能够依据需要调用工具箱中有关神经网络的设计训练程序， 使自己能够从烦杂的编程中解脱出来，减少工程人员的负担，进而提升工作效率。1.2 人工神经网络的研究背景和意义人工神经网络是由拥有适应性的简
4、单单元构成的宽泛并行互连的网络， 它的组织能够模拟生物神经系统对真切世界物体所作出的交互反响。人工神经网络就是模拟人思想的一种方式， 是一个非线性动力学系统， 其特点在于信息的散布式储存和并行共同办理。 固然单个神经元的结构极其简单， 功能有限，但大批神经元构成的网络系统所能实现的行为倒是极其丰富多彩的。最近几年来经过对人工神经网络的研究， 能够看出神经网络的研究目的和意义有以下三点：（ 1）经过揭露物理平面与认知平面之间的映照，认识它们相互联系和相互作用的机理，进而揭露思想的实质，探究智能的根源。（ 2）争取结构出尽可能与人脑拥有相像功能的计算机，即神经网络计算机。（ 3）研究模拟脑神经系统
5、的人工神经网络， 将在模式辨别、 组合优化和决议判断等方面获得传统计算机所难以达到的成效。人工神经网络独有的非线性适应性信息办理能力， 战胜了传统人工智能方法关于直觉，如模式、语音辨别、非结构化信息办理方面的缺点，使之在神经专家系统、模式辨别、智能控制、组合优化、展望等领域获取成功应用。人工神经网络与其余传统方法相联合，将推感人工智能和信息办理技术不停发展。最近几年来，人工神经网络正向模拟人类认知的道路上更为深入发展， 与模糊系统、遗传算法、进化体制等联合， 形成计算智能， 成为人工智能的一个重要方向， 将在实质应用中获取发展。将信息几何应用于人工神经网络的研究， 为人工神经网络的理论研究开拓
6、了新的门路。 神经计算机的研究发展很快， 已有产品进入市场。 光电联合的神经计算机为人工神经网络的发展供应了优秀条件。1.3 神经网络的发展与研究现状 神经网络的发展神经网络发源于 20 世纪 40 年月，到现在发展已半个多世纪， 大概分为三个阶段。1）20 世纪 50 年月 -20 世纪 60 年月：第一次研究热潮自1943 年 M-P 模型开始，至 20 世纪 60 年月为止，这一段时间能够称为神经网络系统理论发展的早期阶段。 这个期间的主要特点是多种网络的模型的产生与学习算法的确定。2）20 世纪 60 年月 -20 世纪 70 年月：低潮期间到了 20 世纪 60 年月，人们发现感知器
7、存在一些缺点， 比如，它不可以解决异或问题，因此研究工作趋势低潮。可是仍有许多学者持续对神经网络进行研究。Grossberg 提出了自适应共振理论； Kohenen 提出了自组织映照； Fukushima 提出了神经认知网络理论； Anderson 提出了 BSB 模型； Webos 提出了 BP 理论等。这些都是在 20 世纪 70 年月和 20 世纪 80 年月初进行的工作。3）20 世纪 80 年月 -90 年月：第二次研究热潮进入 20 世纪 80 年月，神经网络研究进入热潮。 这个期间最拥有标记性的人物是美国加州工学院的物理学家 John Hopfield。他于 1982 年和 19
8、84 年在美国科学院院刊上发布了两篇文章，提出了模拟人脑的神经网络模型，即最有名的 Hopfield 模型。 Hopfield 网络是一个互连的非线性动力学网络，它解决问题的方法是一种频频运算的动向过程，这是符号逻辑办理方式做不具备的性质。20 世纪80 年月后期到 90 年月初，神经网络系统理论形成了发展的热门，多种模型、算法和应用被提出， 研究经费从头变得充分， 使得研究者们达成了好多存心义的工作。 神经网络的现状进入 20 世纪 90 年月以来，神经网络因为应用面还不够宽，结果不够精准，存在可信度问题，进而进入了认识与应用研究期。1）开发现有模型的应用，并在应用中依据实质运转状况对模型、
9、算法加以改造，以提升网络的训练速度和运转的正确度。2）充散发挥两种技术各自的优势是一个有效方法。3）希望在理论上找寻新的打破，成立新的专用 /通用模型和算法。4）进一步对生物神经系统进行研究，不停地丰富对人脑的认识。1.4 神经网络的应用神经网络理论的应用获得了令人瞩目的发展， 特别是在人工智能、自动控制、计算机科学、信息办理、机器人、模式辨别、 CAD/CAM 等方面都有重要的应用实例。下边列出一些主要应用领域：（1）模式辨别和图像办理。印刷体和手写字符辨别、语音辨别、署名辨别、指纹辨别、人体病理剖析、目标检测与辨别、图像压缩和图像复制等。（2）控制和优化。化工过程控制、机器人运动控制、家电
10、控制、半导体生产中混杂控制、石油精髓优化控制和超大规模集成电路布线设计等。（3）预告和智能信息管理。股票市场展望、地震预告、有价证券管理、借贷风险剖析、 IC 卡管理和交通管理。（4）通讯。自适应均衡、回波抵消、路由选择和 ATM 网络中的呼喊采取辨别和控制。（5）空间科学。空间交汇对接控制、导航信息智能管理、飞翔器制导和飞翔程序优化管理等。2 神经网络结构及 BP神经网络2.1 神经元与网络结构人工神经网络（ artificial neural network ，ANN ）是模拟生物神经网络功能的一种经验模型。 生物神经元遇到传入的刺激， 其反响又从输出端传到相联的其余神经元，输入和输出之间
11、的变换关系一般是非线性的。 神经网络是由若干简单（往常是自适应的） 元件及其层次组织， 以大规模并行连结方式结构而成的网络， 依照生物神经网络近似的方式办理输入的信息。 模拟生物神经网络而成立的人工神经网络，对输入信号有功能强盛的反响和办理能力。神经网络是由大批的办理单元 （神经元）相互连结而成的网络。 为了模拟大脑的基本特征，在神经科学研究的基础上，提出了神经网络的模型。可是，实质上神经网络并无完整反应大脑的功能，不过对生物神经网络进行了某种抽象、简化和模拟。神经网络的信息办理经过神经元的相互作用来实现， 知识与信息的储存表现为网络元件相互散布式的物理联系。 神经网络的学习和辨别取决于各种神
12、经元连结权系数的动向演化过程。若干神经元连结成网络， 此中的一个神经元能够接受多个输入信号， 依照必定的规则变换为输出信号。 因为神经网络中神经元间复杂的连结关系和各神经元传达信号的非线性方式， 输入和输出信号间能够建立出各种各种的关系， 所以能够用来作为黑箱模型， 表达那些用机理模型还没法精准描绘、 但输入和输出之间的确有客观的、 确立性的或模糊性的规律。 所以，人工神经网络作为经验模型的一种，在化工生产、研究和开发中获取了愈来愈多的用途。 生物神经元人脑大概由 1012 个神经元构成，神经元相互连结成神经网络。神经元是大脑办理信息的基本单元， 以细胞体为主体， 由很多向四周延长的不规则树枝
13、状纤维构成的神经细胞，其形状很像一棵枯树的枝干。它主要由细胞体、树突、轴突和突触 (Synapse，又称神经键 )构成。 如图 1 所示。图 1 生物神经元从神 元各 成部分的功能来看，信息的 理与 主要 生在突触邻近。当神 元 胞体通 突 到突触前膜的脉冲幅度达到必定 度， 即超 其 位后，突触前膜将向突触 隙 放神 的化学物 。 人工神经元 一下生物神 元 信息的 程： 生物神 元是一个多 入、 出 元。常用的人工神 元模型可用 2 模 。图 2 人工神经元（感知器）表示图当神 元 j 有多个 入 xi(i=1 ，2, ,m)和 个 出 yj ， 入和 出的关系可表示 :ms jw ij
14、xiji 1y jf (s j )此中 j ， wij 从神 元 i 到神 元 j 的 接 重因子， f( ) 函数，或称激励函数。 人工神经网络的构成神经元的模型确立以后， 一个神经网络的特征及能力主要取决于网络的拓扑结构及学习方法。神经网络连结的几种基本形式：1）前向网络前向网络结构如图 3 所示，网络中的神经元是分层摆列的， 每个神经元只与前一层的神经元相连结。神经元分层摆列，分别构成输入层、中间层（也称为隐含层，能够由若干层构成） 和输出层。每一层的神经元只接受来自前一层神经元的输入，后边的层对前面的层没有信号反应。输入模式经过各层次的次序流传，最后在输出层上获取输出。感知器网络和 B
15、P 网络均属于前向网络。图 3 前向网络结构2）从输出到输入有反应的前向网络其结构如图 4 所示，输出层对输入层有信息反应， 这类网络可用于储存某种模式序列，如神经认知机和回归 BP 网络都属于这类种类。图 4 有反应的前向网络结构3)层内互连前向网络其结构如图 5 所示，经过层内神经元的相互联合， 能够实现同一层神经元之间的横向克制或喜悦体制。 这样能够限制每层内能够同时动作的神经元素， 或许把每层内的神经元分为若干组， 让每一组作为一个整体进行运作。 比如，可利用横向克制机理把某层内的拥有最大输出的神经元精选出来，进而克制其余神经元，使之处于无输出状态。图 5 有相互联合的前向网络结构4)
16、相互联合型网络相互联合型网络结构如图 6 所示，这类网络在随意两个神经元之间都可能有连结。 Hopfield 网络和 Boltzmann 机均属于这类种类。在无反应的前向网络中，信号一旦经过某神经元， 该神经元的办理就结束了。 而在相互联合网络中， 信号要在神经元之间频频传达， 网络处于一种不停变化状态的动向之中。 信号从某初始状态开始， 经过若干次变化， 才会达到某种均衡状态。 依据网络的结构和神经元的特征，网络的运转还有可能进入周期振荡或其余如混沌均衡状态。图 6 联合型网络结构综上，可知神经网络有分层网络、 层内连结的分层网络、 反应连结的分层网络、互连网络等四种结构，其神经网络模型有感
17、知器网络，线性神经网络， BP神经网络，径向基函数网络，反应神经网络等，本文主要学习研究了 BP 神经网络，以及 BP 神经网络在函数迫近和样本含量预计两个实例中的应用剖析。2.2 BP 神经网络及其原理2.2.1 BP 神经网络定义BP (Back Propagation)神经网络是一种神经网络学习算法。其由输入层、中间层、输出层构成的阶层型神经网络， 中间层可扩展为多层。 相邻层之间各神经元进行全连结，而每层各神经元之间无连结， 网络按有教师示教的方式进行学习，当一对学习模式供应给网络后，各神经元获取网络的输入响应产生连结权值（Weight）。而后按减小希望输出与实质输出偏差的方向，从输出
18、层经各中间层逐层修正各连结权， 回到输入层。 此过程频频交替进行， 直至网络的全局偏差趋势给定的极小值，即达成学习的过程。2.2.2 BP 神经网络模型及其基来源理BP 网络是一种多层前馈神经网络，由输入层、隐层和输出层构成。图7 为一个典型的三层 BP 网络的拓扑结构，层与层之间采纳全互连方式，同一层之间不存在相互连结 ,隐层能够有一层或多层。层与层之间有两种信号在流通：一种是工作信号 (用实线表示 )，它是施加输入信号后向前流传直到在输出端产生实质输出的信号， 是输入和权值的函数。 另一种是偏差信号 (用虚线表示 ),网络实质输出与希望输出间的差值即为偏差，它由输出端开始逐层向后流传。 B
19、P 网络的学习过程程由前向计算过程和偏差反向流传过程构成。 在前向计算过程中， 输入量从输入层经隐层逐层计算， 并传向输出层， 每层神经元的状态只影响下一层神经元的状态。如输出层不可以获取希望的输出， 则转入偏差反向流传过程， 偏差信号沿本来的连结通路返回， 逐次调整网络各层的权值和阈值， 直至抵达输入层， 再重复向计算。 这两个过程一次频频进行， 不停调整各层的权值和阈值， 使得网络偏差最小或达到人们所希望的要求时，学习过程结束。图 7 典型 Bp网络模型生物神经元信号的传达是经过突触进行的一个复杂的电化学等过程 , 在人工神经网络中是将其简化模拟成一组数字信号经过必定的学习规则而不停改动更
20、新的过程，这组数字储藏在神经元之间的连结权重。 网络的输入层模拟的是神经系统中的感觉神经元，它接收输入样本信号。输入信号经输入层输入， 经过隐含层的复杂计算由输出层输出， 输出信号与希望输出对比较， 如有偏差，再将偏差信号反向由输出层经过隐含层办理后向输入层流传。 在这个过程中， 偏差通过梯度降落算法， 分摊给各层的全部单元， 进而获取各单元的偏差信号， 以此误差信号为依照修正各单元权值，网络权值所以被从头散布。此过程达成后， 输入信号再次由输入层输入网络， 重复上述过程。 这类信号正向流传与偏差反向流传的各层权值调整过程循环往复地进行着， 直到网络输出的偏差减少到能够接受的程度，或进行到早先
21、设定的学习次数为止。 权值不停调整的过程就是网络的学习训练过程。BP 神经网络的信息办理方式拥有以下特点 :1）信息散布储存。人脑储存信息的特点是利用突触效能的变化来调整储存内容， 即信息储存在神经元之间的连结强度的散布上， BP 神经网络模拟人脑的这一特点，使信息以连结权值的形式散布于整个网络。2)信息并行办理。人脑神经元之间传达脉冲信号的速度远低于冯诺依曼计算机的工作速度， 可是在好多问题上却能够做出迅速的判断、 决议和办理， 这是因为人脑是一个大规模并行与串行组合的办理系统。 BP 神经网络的基本结构模拟人脑，拥有并行办理的特点，大大提升了网络功能。3）拥有容错性。 生物神经系统部分不严
22、重损害其实不影响整体功能， BP 神经网络也拥有这类特征， 网络的高度连结意味着少许的偏差可能不会产生严重的结果，部分神经元的损害不损坏整体， 它能够自动修正偏差。 这与现代计算机的柔弱性形成鲜亮对照。4）拥有自学习、自组织、自适应的能力。 BP 神经网络拥有初步的自适应与自组织能力，在学习或训练中改变突触权值以适应环境， 能够在使用过程中不停学习完美自己的功能， 而且同一网络因学习方式的不一样能够拥有不一样的功能， 它甚至拥有创新能力，能够发展知识，以致超出设计者原有的知识水平。2.3 BP 神经网络的主要功能当前，在人工神经网络的实质应用中。绝大多数的神经网络模型都采纳 BP 神经网络及其
23、变化形式。 它也是前向网络的核心部分， 表现了人工神经网络的精髓。BP 网络主要用于以下四方面。（1）函数迫近：用输入向量和相应的输出向量训练一个网络以迫近一个函数。（2）模式辨别：用一个待定的输出向量将它与输入向量联系起来。（3）分类：把输入向量所定义的适合方式进行分类。（4）数据压缩：减少输出向量维数以便传输或储存。3.鉴于 matlab 的 BP神经网络的非线性函数拟合3.1 运用背景系统状态方程复杂的非线性系统， 难以用数学方法精准建模。 在这类状况下，能够成立 BP 神经网络表达这些非线性系统。 该方法把未知系统当作是一个黑箱，第一用系统输入输出数据训练 BP 神经网络，使网络能够表
24、达该未知函数，而后就能够用训练好的 BP 神经网络展望系统输出。先拿出若干组系统的输入输出数据对 BP 网络进行有效学习，而后就能够用BP 网络来表达这个系统，在知道系统输入参数的状况下，能够网络来展望系统的输出值。本事例就是用 BP 网络来拟合一个标准测试函数，来说明 BP 网络的拟合能力，并商讨了 BP 网络在使用中注意的几个问题。本事例拟合的非线性函数为 y=x12+x223.2 模型成立鉴于 BP 神经网络的非线性函数拟合算法流程能够分为 BP 神经网络训练和 BP 神经网络展望三步。BP 神经网络建立、BP 神经网络模块建立中确立神经网路的结构以及学习方式，依据拟合函数的形式，采纳神
25、经网络的格式为：输入层有两个节点，输出层有一个节点，隐含层有五个节点，隐含层传达函数是 tansig函数，输出层传达函数是 purlin 函数。BP神经网络建立依据拟合非线性函数特点确立BP神经网络结构，因为该非线性函数有两个输入参数，一个输出参数，所以 BP 神经网络结构即输入层有2 个结点，中间层有 5 个结点，输出层有 1 个结点。BP 神经网络训练用非线性函数输入输出数据训练神经网络，使训练后的网络能够展望非线性函数输出。从非线性函数中随机获取 2000 组输入输出数据，从中随机选择 1900 组作为训练数据，用于网络训练， 100 组作为测试数据，用于测试网络的拟合性能。 神经网络展
26、望用训练好的网络展望函数输出， 并对展望结果进行剖析。BP 网络来拟合一个函数，说明 BP 网络在函数拟合中的作用。训练好的数据对网络性能进行展望，进而判断网络拟合函数成效。3.3 MatLab 实现3.3.1BP 神经网络工具箱函数Matlab 软件中包含 Matlab 神经网络工具箱。它是以人工神经网络理论为基础，用 Matlab 语言结构出了该理论所波及的公式运算、矩阵操作和方程求解等大多数子程序以用于神经网络的设计和训练。 用户只要依据自己的需要调用有关的子程序，即能够达成包含网络结构设计、 权值初始化、 网络训练及结果输出等在内的一系列工作， 免去编写复杂宏大程序的困扰。 当前，Ma
27、tlab 神经网络工具包包含的网络有感知器、线性网络、 BP 神经网络、径向基网络、自组织网络和回归网络等。 BP 神经网络主要用到 newff 、sim 和 train3 个神经网络函数，各函数解说以下。(1)newff： BP 神经网络参数设置函数函数功能：建立一个 BP 神经网络。函数形式： net = newff（ P， T，S，TF，BTF，BLF ，PF，IPF，OPF，DDF ）P：输入数据矩阵。T：输出数据矩阵。S：隐含层结点数。TF：结点传达函数，包含硬限幅传达函数 hardlim ，对称硬限幅传达函数hardlims，线性传达函数 pureline，正切 S 型传达函数 t
28、ansig，对数 S 型传达函数logsig。BTF：训练函数，包含梯度降落 BP 算法训练函数 traingd，动量反传的梯度降落 BP 算法训练函数 traingdm，动向自适应学习率的梯度降落 BP 算法训练函数 traingda，动量反传和动向自适应学习率的梯度降落 BP 算法训练函数 traingdx，Levenberg_Marquardt的 BP 算法训练函数 trainlm 。BLF：网络学习函数，包含 BP 学习规格 learngd，带动量项的 BP 学习规则learngdm。PF：性能剖析函数， 包含均值绝对偏差性能剖析函数 mae，均方差性能剖析函数 mse。IPF：输入办
29、理函数。OPF：输出办理函数。DDF：考证数据区分函数。一般在使用过程中设置前面 6 个参数，后边 4 个参数采纳系统默认参数。(2)train： BP 神经网络训练函数函数功能：用训练数据训练 BP 神经网络。函数形式： net，tr = train （NET ，X， T，Pi ，Ai ）NET：待训练网络。X：输入数据。T：输出数据。Pi：初始化输入层条件。Ai ：初始化输出层条件。net：训练好的网络。tr：训练过程记录。一般在使用过程中设置前面 3 个参数，后边 2 个参数采纳系统默认参数。(3)sim： BP 神经网络展望函数、函数功能：用训练好的 BP 神经网络展望函数输出。函数形
30、式： y = sim（ net， x）net：训练好的网络。x：输入数据。y：网络展望数据。 实验结果实质输出数据和神经网络的展望输出之间的结果对照图优势剖析：神经网络展望模块既用训练好的数据对网络性能进行展望， 进而判断网络拟合函数成效。参照文件：1李晓慧 .鉴于 MATLAB 的 BP 神经网络的应用 J. 科技信息 , 2010,(26)2郝中华 . B P神经网络的非线性思想 . 洛阳师范学院学报 2008.3(4)3张玲，张钹 . 人工神经网络理及应用 . 浙江：浙江科技大学第一版社，1997.5:20-624蒋宗礼 . 人工神经网络导论 . 高等教育第一版社， 2001.5:15-905闻新、周露、王丹力、熊晓英 .MATLAB 神经网络应用设计 . 科学第一版社，2001.5:10-506葛哲学、孙志强编著 . 神经网络与 matlab2007 实现 . 北京：电子工业第一版社， 2007.9:1-5附录：程序代码：%清空环境变量clcclear%训练数据展望数据提取及归一化%导入输入输出数据load data input output%从 1 到 2000 间随机排序k=rand(1,2000);m,n=sort(k);%随机选择 1900 组训练数据和 100 组展望数据input_train=input(n(1:1900),:);output_trai
