Hopfield数据恢复.docx
- 文档编号:17890688
- 上传时间:2023-08-04
- 格式:DOCX
- 页数:54
- 大小:225.02KB
Hopfield数据恢复.docx
《Hopfield数据恢复.docx》由会员分享,可在线阅读,更多相关《Hopfield数据恢复.docx(54页珍藏版)》请在冰点文库上搜索。
Hopfield数据恢复
西安邮电学院
毕业设计(论文)
题目:
基于Hopfield网络的数据恢复
算法研究
院(系):
通信与信息工程学院
专业:
通信工程
班级:
通工0603班
学生姓名:
米养龙
导师姓名:
和煦职称:
讲师
起止时间:
2010年3月15日至2010年6月18日
西安邮电学院
毕业设计(论文)任务书
学生姓名
米养龙
指导教师
和煦
职称
讲师
院系
通信与信息工程学院
专业
通信工程
题目
基于Hopfield网络的数据恢复算法研究
任务与要求
20世纪80年代美国物理学家J.Hopfield提出的了单层全互连含有对称突触连接的反馈网络模型,该模型利用非线性动力学方法研究神经网络特性,建立了神经网络稳定性判据,并指出信息存储在网络中神经元之间的连接上,由此形成了Hopfield网络。
Hopfield网络是一种神经动力学系统,具有稳定的平衡状态,即存在吸引子,因此Hopfield网络具有很强的联想记忆功能,主要用于联想记忆和优化计算。
具体要求如下:
(1)设计能控制联想步长的离散Hopfield网络;
(2)使用Hopfield网络能实现数据存储;
(3)能够实现对各种常见攻击(如:
剪切、篡改、加噪、压缩等)后数据的恢复。
开始日期
2010年3月1日
完成日期
2010年6月10日
院长(签字)
2010
年
3
月
5
日
西安邮电学院
毕业设计(论文)工作计划
学生姓名_米养龙指导教师_和煦_职称_讲师
院(系)通信与信息工程学院_专业___通信工程__
题目___基于Hopfield网络的数据恢复算法研究
_______________________________________________________
工作进程
起止时间
工作内容
3月10日至6月10日
3月10日至3月20日查阅资料,了解与题目相关的知识;
依据任务书,深刻把握题目内涵。
广泛搜集资料,提交开题报告。
3月31日至4月6日阅读消化吸收搜集资料,拟定论文大纲,
并确定技术路线。
4月7日至5月21日进行仿真实验。
5月22日至5月31日撰写毕业论文,并提交论文初稿,
依照导师建议对论文进行多次修改。
6月1日至6月5日论文定稿,按要求装订、提交论文。
6月6日至6月10日论文答辩
主要参考书目(资料)
主要参考书目(资料)
1.姚敏等,数字图像处理,机械工业出版社,2006
2.崔屹,数字图像处理技术与应用,电子工业出版社,1997
3.夏良正,数字图像处理,东南大学出版社,1999
4.朱秀昌,刘峰,胡栋,数字图像处理与图像通信,北京邮电大学出版社,2002
主要仪器设备及材料
电脑一台,matlab仿真软件
论文(设计)过程中教师的指导安排
每周固定集中一次,解答学生毕业设计中的问题,
指导学生毕业设计。
对计划的说明
西安邮电学院
毕业设计(论文)开题报告
通信与信息工程学院院(系)通信工程专业06级03班
课题名称:
基于Hopfield网络的数据恢复算法研究
学生姓名:
米养龙学号:
03061092
指导教师:
和煦
报告日期:
2010年3月15日
1.本课题所涉及的问题及应用现状综述
本课题所涉及的问题:
Hopfield网络最初是由美国物理学家J.Hopfield于1982年首先提出,它作为一种全连接型的神经网络,曾经为人工神经网络的发展进程开辟了新的研究途径。
它利用与阶层型神经网络不同的结构特征和学习方法,模拟生物神经网络的记忆机理,获得了令人满意的效果。
该网络是单层全互连含有对称突触连接的反馈网络模型,该模型利用非线性动力学方法研究神经网络特性,建立了神经网络稳定性判据,并指出信息存储在网络中神经元之间的连接上。
神经网络具有良好的容错性,能使不完整的、污损的、畸变的输入样本恢复完整的原型,适于识别,分类等用途。
能够实现对各种常见攻击(如:
剪切、篡改、加噪、压缩等)后数据的恢复,实现数据的原有价值,有很重要的研究意义。
本课题的应用现状:
Hopfield网络是一种神经动力学网络,具有稳定的平衡状态,即存在吸引子,因此Hopfield网络具有很强的联想记忆功能。
将Hopfield网络作为联想记忆网络需要设计或训练网络的权值,使吸引子存储记忆模式。
主要用于联想记忆和优化计算。
联想记忆网络是通过神经元之间的权重学习规则来调整神经元间的权重,从而得到各事物间的联系。
因此,联想记忆的神经网络是由突触权重和连接结构来对信息进行记忆,这种分布式能存储较多的模式,能够在一定的程度上恢复残缺的不完整信息。
2.本课题需要重点研究的关键问题、解决的思路及实现预期目标的可行性分析
关键问题:
近年来,神经网络技术发展较快,由于其本身具有学习和自组织等优良特性而日益收到重视。
联想记忆是神经网络理论的一个重要组成部分,也是神经网络用于图像复原、模式识别,数据恢复和人工智能等领域的一个重要功能。
本课题要求设计能控制联想步长的离散Hopfield网络,使用Hopfield网络能实现数据存储,并且能够实现对各种常见攻击后数据的恢复。
解决思路:
通过查阅资料,了解Hopfield神经网络的基本概念,学会神经网络工具箱函数的使用,理解Hopfield神经网络的学习过程和学习目的,以及自联想记忆和异联想记忆的过程,利用MATLAB仿真工具实现受损数据的恢复。
实现预期目标的可行性分析:
使用MATLAB设计一个Hopfield网络,使其具有联想记忆功能,能正确识别数字,当数字被噪声污染后仍可以正确的识别。
将Hopfield网络作为联想记忆网络需要设计或训练网络的权值,使吸引子存储记忆模式。
联想记忆网络的根本问题之一就是除存在记有记忆样本的吸引子之外,还有“多余”的稳定状态即伪状态存在,伪状态的存在影响到联想记忆网络的容错性。
若能减少甚至消除伪状态的吸引域,就可提高联想记忆网络的容错性,增大记忆容量。
3.完成本课题的工作方案
3月10日至3月20日查阅资料,了解与题目相关的知识;依据任务书,
深刻把握题目内涵。
广泛搜集资料,提交开题报告。
3月31日至4月6日阅读消化吸收搜集资料,拟定论文大纲,并确定技术路线。
4月7日至5月21日进行仿真实验
5月22日至5月31日撰写毕业论文,并提交论文初稿,
依照导师建议对论文进行多次修改。
6月1日至6月5日论文定稿,按要求装订、提交论文。
6月6日至6月10日准备论文答辩
4.指导教师审阅意见
该生通过前期准备和查阅资料,了解课题涉及问题及现状;清楚要解决的问题,有一定的解决思路,达到了开题要求,同意开题。
指导教师(签字):
2010年3月22日
说明:
本报告必须由承担毕业论文(设计)课题任务的学生在毕业论文(设计)正式开始的第1周周五之前独立撰写完成,并交指导教师审阅。
西安邮电学院毕业设计(论文)成绩评定表
学生姓名
米养龙
性别
男
学号
03061092
专业班级
通工0603班
课题名称
基于Hopfield网络的数据恢复算法研究
课题
类型
软件工程
难度
一般
毕业设计(论文)时间
2010年 3月 15日~ 6月 18日
指导教师
和煦(职称讲师)
课题任务
完成情况
论文(千字);设计、计算说明书(千字);图纸(张);
其它(含附件):
指导教师意见
分项得分:
开题调研论证分;课题质量(论文内容)分;创新分;
论文撰写(规范)分;学习态度分;外文翻译分
指导教师审阅成绩:
指导教师(签字):
年 月 日
评
阅
教
师
意见
分项得分:
选题分;开题调研论证分;课题质量(论文内容)分;创新分;
论文撰写(规范)分;外文翻译分
评阅成绩:
评阅教师(签字):
年 月 日
验收小组意见
分项得分:
准备情况分;毕业设计(论文)质量分;(操作)回答问题分
验收成绩:
验收教师(组长)(签字):
年 月 日
答
辩
小组
意
见
分项得分:
准备情况分;陈述情况分;回答问题分;仪表分
答辩成绩:
答辩小组组长(签字):
年月日
成绩计算方法
(填写本院系实用比例)
指导教师成绩20(%)评阅成绩30(%)验收成绩30(%)答辩成绩20(%)
学生实得成绩(百分制)
指导教师成绩评阅成绩验收成绩
答辩成绩总评
答辩委员会意见
毕业论文(设计)总评成绩(等级):
院(系)答辩委员会主任(签字):
院(系)(签章)
年月日
备
注
西安邮电学院毕业论文(设计)成绩评定表(续表)
目录
摘要I
ABSTRACTII
引言1
1 绪论2
1.1 研究背景2
1.2 研究意义2
1.3 当前国内外研究的主要问题2
2 人工神经网络3
2.1 人工神经网络的发展历程3
2.2 人工神经网络模型3
2.2.1 生物神经元模块3
2.2.2 人工神经元模型5
2.3 人工神经网络的分类6
2.3.1 按网络连接的拓扑结构分类7
2.3.2 按网络内部的信息流向分类8
2.4 神经网络的学习方式9
2.4.1 Hebb学习11
2.4.2 基于记忆的学习11
2.4.3 纠错学习11
2.4.4 竞争学习12
2.4.5 随机学习12
2.5 神经网络的特点及优点12
3 Hopfield网络15
3.1 反馈神经网络的基本概念15
3.2 Hopfield网络的基本概念15
3.3 Hopfield网络的结构和工作方式15
3.3.1 网络的异步工作方式17
3.3.2 网络的同步工作方式17
3.4 Hopfield网络的稳定性与吸引子17
3.4.1 网络的稳定性17
3.4.2 吸引子与能量函数19
3.4.3 吸引子的性质20
3.4.4 吸引子的吸引域20
3.5 Hopfield网络的权值设计20
3.6 Hopfield网络的信息存储容量22
4 联想记忆23
4.1 联想记忆的基本概念23
4.1.1 自联想记忆23
4.1.2 异联想记忆24
4.2 Hopfield联想记忆网络25
4.3 联想记忆网络的运行步骤26
4.4 联想记忆网络的改进26
5 利用MATLAB进行数据恢复仿真28
5.1 基于自联想的数据恢复算法研究28
5.1.1 训练过程28
5.1.2 恢复过程28
5.1.3 仿真结果分析29
5.2 基于异联想的数据恢复算法研究31
5.2.1 训练过程31
5.2.2 恢复过程31
5.2.3 仿真结果分析32
6 结论35
6.1 总结35
6.2 展望35
致谢36
参考文献37
摘要
Hopfield网络是一种神经动力学网络,具有稳定的平衡状态,即存在吸引子,因此Hopfield网络具有很强的联想记忆功能。
将Hopfield网络作为联想记忆网络需要设计或训练网络的权值,使吸引子存储记忆模式。
主要用于联想记忆和优化计算。
联想记忆网络是通过神经元之间的权重学习规则来调整神经元间的权重,从而得到各事物间的联系。
联想记忆又可以分为自联想和异联想,联想记忆网络不仅能将输入模式映射为自己所存储的模式,而且还能对具有缺损或噪声的输入模式有一定的容错能力。
利用MATLAB进行基于自联想的数据恢复仿真和基于异联想的相关数据恢复仿真。
通过PSNR值和相似度的比较,表明了Hopfield网络的联想记忆确实可以有效的恢复受损的数据。
关键字:
Hopfield网络;联想记忆;自联想;异联想
ABSTRACT
Hopfieldnetworkisaneuraldynamicnetwork,withastableequilibrium,namely,existattractor,soHopfieldnetworkhasastrongassociationmemoryfunction.TheHopfieldnetworkasanassociationmemorynetworkdesignortrainingneedsoftheweightsofthenetwork,sothatstorememorymodelattractor.Mainlyusedforassociationmemoryandoptimizationcomputation.associationmemorynetworkisthroughtheweightsbetweenneuronlearningrulestoadjusttheweightsbetweenneurons,whichobtainedthelinksbetweenthings.
AssociativememorycanbedividedintoAuto-associativeMemoryandHetero-associativeMemory.Notonlycanbeassociativememorynetworksinputmodeforstorageofmapping,andcanalsowithdefectornoiseinputmodehascertaintolerance.UsingMATLABfordatarecoverysimulationbasedonAuto-associativeMemoryandrelateddatarecoverysimulationbasedonHetero-associativeMemory.ByPSNRvalueandsimilaritycomparison,provedtheassociativememoryofHopfieldnetworkcanreallyeffectiverecoveryofdamageddata.
Keywords:
HopfieldNetwork;AssociationMemory;Auto-associativeMemory;Hetero-associativeMemory
引言
人工神经网络是将大量功能简单的神经元通过一定的拓扑结构组织起来,构成群体并行处理方式的计算结构。
Hopfield网络是一种神经动力学系统,具有稳定的平衡状态,即存在吸引子,因此Hopfield网络具有很强的联想记忆功能,主要用于联想记忆和优化计算。
通过联想记忆实现对受污损的数据进行恢复,实现其原有价值。
基于Hopfield网络的数据恢复算法研究,是以MATLAB作为仿真工具,采用Hopfield网络模型进行数据恢复仿真。
在本论文中全面详细地介绍了基于Hopfield网络的数据恢复算法,以及神经网络的一些关键概念和技术。
第1章为绪论,包括研究背景、研究意义和当前研究的主要问题;
第2章为人工神经网络,详细介绍了人工神经网络的发展历程、网络模型、分类、学习方式及其特点;
第3章为Hopfield网络,详细介绍了反馈网络的概念、Hopfield网络的概念、Hopfield网络的结构和工作方式、Hopfield网络的稳定性与吸引子以及其权值设计和信息存储容量;
第4章为联想记忆,介绍了联想记忆的基本概念、自联想和异联想、联想记忆的运行步骤及联想记忆网络的改进;
第5章为利用MATLAB进行数据恢复仿真,分别采用不同训练步长进行基于自联想和异联想的数据恢复仿真;
第6章为结论,总结了Hopfield网络技术及仿真结论,展望了Hopfield网络未来的发展方向。
1 绪论
1.1 研究背景
人工神经网络是一种信息处理的范例,由生物启发方式的神经系统,如大脑,处理信息。
这个模式的关键要素是信息处理系统结构新颖。
它由一个高度互联处理单元(神经元)的协同工作,解决具体的大量问题。
一个神经网络被配置为一个特定的应用程序,如模式识别和数据分类,通过一个学习的过程,生物系统学习包括调整神经元之间的突触连接。
这是事实,对人工神经网络同样如此。
近年来,神经网络技术发展较快,由于其本身具有学习和自组织等优良特性而日益收到重视。
联想记忆是神经网络理论的一个重要组成部分,也是神经网络用于图像复原、模式识别,数据恢复和人工智能等领域的一个重要功能。
本课题要求设计能控制联想步长的离散Hopfield网络,使用Hopfield网络能实现数据存储,并且能够实现对各种常见攻击后数据的恢复。
1.2 研究意义
Hopfield作为一种全连接型的神经网络,曾经为人工神经网络的发展进程开辟了新的研究途径。
它利用与阶层型神经网络不同的结构特征和学习方法,模拟生物神经网络的记忆机理,获得了令人满意的效果。
该网络是单层全互连含有对称突触连接的反馈网络模型,该模型利用非线性动力学方法研究神经网络特性,建立了神经网络稳定性判据,并指出信息存储在网络中神经元之间的连接上。
神经网络具有良好的容错性,能使不完整的、污损的、畸变的输入样本恢复完整的原型,适于识别,分类等用途。
能够实现对各种常见攻击后数据的恢复,实现数据的原有价值,有很重要的研究意义。
1.3 当前国内外研究的主要问题
(1)联想记忆。
由于网络可以收敛于稳定状态,因此可以用于联想记忆。
若将稳态视为一个记忆,则由初始状态向稳态收敛的过程就是寻找记忆的过程,初始状态可认为是给定了部分信息,收敛过程可认为是从部分信息找到了全部信息,实现了联想记忆的功能。
(2)优化计算。
若将稳态视为某一优化问题目标函数的极小点,则由初始状态向稳态收敛的过程就是优化计算的过程。
(3)网络的应用。
Hopfield网络多用于在控制系统的设计中求解约束优化问题,另外在系统识别中也有应用。
2 人工神经网络
2.1 人工神经网络的发展历程
1943年,心理学家W.S.McCulloch和数理逻辑学家W.Pitts建立了神经网络和数学模型,称为MP模型。
他们通过MP模型提出了神经元的形式化数学描述和网络结构方法,证明了单个神经元能执行逻辑功能,从而开创了人工神经网络研究的时代。
1949年,心理学家提出了突触联系强度可变的设想。
60年代,人工神经网络的到了进一步发展,更完善的神经网络模型被提出,其中包括感知器和自适应线性元件等。
M.Minsky等仔细分析了以感知器为代表的神经网络系统的功能及局限后,于1969年出版了《Perceptron》一书,指出感知器不能解决高阶谓词问题。
他们的论点极大地影响了神经网络的研究,加之当时串行计算机和人工智能所取得的成就,掩盖了发展新型计算机和人工智能新途径的必要性和迫切性,使人工神经网络的研究处于低潮。
在此期间,一些人工神经网络的研究者仍然致力于这一研究,提出了适应谐振理论(ART网)、自组织映射、认知机网络,同时进行了神经网络数学理论的研究。
以上研究为神经网络的研究和发展奠定了基础。
1982年,美国加州工学院物理学家J.J.Hopfield提出了Hopfield神经网格模型,引入了“计算能量”概念,给出了网络稳定性判断。
1984年,他又提出了连续时间Hopfield神经网络模型,为神经计算机的研究做了开拓性的工作,开创了神经网络用于联想记忆和优化计算的新途径,有力地推动了神经网络的研究。
1985年,又有学者提出了波耳兹曼模型,在学习中采用统计热力学模拟退火技术,保证整个系统趋于全局稳定点。
1986年进行认知微观结构地研究,提出了并行分布处理的理论。
人工神经网络的研究受到了各个发达国家的重视,美国国会通过决议将1990年1月5日开始的十年定为“脑的十年”,国际研究组织号召它的成员国将“脑的十年”变为全球行为。
在日本的“真实世界计算(RWC)”项目中,人工智能的研究成了一个重要的组成部分[1]。
2.2 人工神经网络模型
2.2.1 生物神经元模块
在人类大脑皮层中大约有100亿个神经元,60万亿个神经突触以及它们的连接体。
单个神经元处理一个事件需要10-3s,而在硅芯中处理一个事件只需要10-9s。
但人脑是一个非常高效的结构,大脑中每秒每个动作的能量约为10-16J,而当今性能最好的计算机进行相应的操作需要10-6J[1]。
神经元是基本的信息处理单元。
生物神经元主要有树突、轴突和突触组成。
其结构示意图如图2-1所示。
图2-1生物神经元
其中树突是由细胞体向外伸出的,有不规则的表面和许多较短的分支。
树突相当于信号的输入端,用于接受神经冲动。
轴突是由细胞体向外伸出的最长的一条分支,即神经纤维,相当于信号的输出电缆,其端部的许多神经末梢为信号输出端子,用于传出神经冲动。
神经元之间通过轴突和树突相互联结,其接口称为突触。
每个细胞约有103或104个突触。
神经突触是调整神经元之间相互作用的基本结构和功能单元,最通常的一种神经突触是化学神经突触,它将得到的电信号转化为化学信号,再将化学信号转化为电信号输出。
这相当于双接口设备。
它能加强兴奋或抑制作用,但两者不能同时发生。
细胞膜内外有电位差,约20~100mV,称为膜电位。
膜外为正,膜内为负。
神经元作为信息处理的基本单元,具有如下重要的功能:
(1)可塑性:
可塑性反映在新突触的产生和现有神经突触的调整上,可塑性使神经网络能够适应周围的环境。
(2)时空整合功能:
时间整合功能表现在不同时间、同一突触上;空间整合功能表现在同一时间、不同突触上。
(3)兴奋与抑制状态:
当传入冲动的时空整合结果使细胞膜电位升高,超过被称为动作电位的阈值(约400mV)时,细胞进入兴奋状态,产生神经冲动,由轴突输出;同样,当膜电位低于阈值时,无神经冲动输出,细胞进入抑制状态。
(4)突触的延时和不应期:
突触对神经冲动的传递具有延时和不应期,在相邻的二次冲动之间需要一个时间间隔。
在此期间对激励不响应,不能传递神经冲动。
(5)学习、遗忘和疲劳:
突触的传递作用有学习、遗忘和疲劳过程[1]。
2.2.2 人工神经元模型
人工神经网络是在现代神经生物学研究基础上提出的模拟生物过程,反映人脑某些特性的一种计算结构。
它不是人脑神经系统的真实描写,而只是它的某种抽象、简化和模拟。
根据前面对生物神经网络的介绍可知,神经元及其突触是神经网络的基本器件。
因此,模拟生物神经网络应首先模拟生物神经元。
在人工神经网络中,神经元常被称为“处理单元”[1-2]。
有时从网络的观点出发常把它称为“节点”。
人工神经元是对生物神经元的一种形式化描述,它对生物神经元的信息处理过程进行抽象,并用数学语言予以描述,对生物
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- Hopfield 数据 恢复