当今大数据安全技术的研究.doc
- 文档编号:8738915
- 上传时间:2023-05-14
- 格式:DOC
- 页数:15
- 大小:1.32MB
当今大数据安全技术的研究.doc
《当今大数据安全技术的研究.doc》由会员分享,可在线阅读,更多相关《当今大数据安全技术的研究.doc(15页珍藏版)》请在冰点文库上搜索。
北京邮电大学本科毕业设计(论文)
信息安全课程论文
题目:
当今大数据安全技术的研究
姓名赵阳
学院理学院
专业数学
学号2013111151
2014年6月
II
北京邮电大学课程设计(论文)
当今大数据安全技术的研究
摘要
大数据是指大小超出了常用的软件工具在运行时间内可以承受的收集,管理和处理数据能力的数据集;大数据是目前存储模式与能力、计算模式与能力不能满足存储与处理现有数据集规模产生的相对概念。
随着大数据技术的成熟、应用与推广,网络安全态势感知技术有了新的发展方向,大数据技术特有的海量存储、并行计算、高效查询等特点,为大规模网络安全态势感知的关键技术创造了突破的机遇。
本文将对大规模网络环境下的安全态势感知、大数据技术在安全感知方面的促进做一些探讨。
实践中,我们不难发现大数据发展面临的两个问题,大数据处理技术的发展和完善,以及数据安全的考验。
前者需要技术人员不懈的努力,但是在信息处理技术如此发展的今天,完成只是时间问题。
而安全问题似乎更棘手,由于大数据的特殊性,安全防护变得极其重要。
一旦数据发生安全隐患,影响最终结果是小事,由这个结果导致的错误判断则可能对个人、企业甚至国家带来巨大的灾难。
关键词:
大数据安全防护措施研究进展
Researchontoday'slargedatasecuritytechnology
ABSTRACT
Bigdatareferstothesizeexceedsthecommonlyusedsoftwaretoolsatruntimecanaffordtocollect,manageandprocessthedatacapacitydatasets;bigdataiscurrentlystoredpatternsandtheabilitytocalculatethemodelandcapacitycannotmeetthestorageandprocessingofexistingdataSetthescalegeneratedrelativeconcept.Asthetechnologymaturesbigdata,applicationandpromotion,networksecuritysituationalawarenesstechnologywithnewdevelopmentdirectionofbigdatatechnologiesspecifictomassstorage,parallelcomputing,efficientqueryfeaturesforlarge-scalenetworksecuritysituationalawarenessofkeytechnologiescreateabreakthroughopportunity.Inthispaper,thesecuritysituationwillbetheperceptionoflarge-scalenetworkenvironment,bigdatatechnologiesinpromotingsecurityperceptiontodosomeresearch.
Inpractice,wefindtwoproblemsfacingthedevelopmentofbigdata,bigdataprocessingtechnologydevelopmentandimprovement,aswellasdatasecuritytest.Theformerrequirestechnicalstafffortheirtirelessefforts,butsuchadevelopmentintheinformationprocessingtechnologytoday,completedjustamatteroftime.Thesafetyissuesseemtobemoredifficult,duetotheparticularity,securitybecomesextremelyimportantforlargedata.Oncethedatasecurityrisksoccur,affectingthefinalresultistrivial,errorofjudgmentbytheresultofthismaybeahugedisasterforindividuals,companiesandevencountries.
Keywords:
BigDataSecurity ProtectivemeasuresResearchProgress
第一章大数据的安全现状
1.1大数据安全的背景调查
快速发展的互联网技术不断地改变人们的生活方式,然而,多层面的安全威胁和安全风险也不断出现。
对于一个大型网络,在网络安全层面,除了访问控制、入侵检测、身份识别等基础技术手段,需要安全运维和管理人员能够及时感知网络中的异常事件与整体安全态势。
对于安全运维人员来说,如何从成千上万的安全事件和日志中找到最有价值、最需要处理和解决的安全问题,从而保障网络的安全状态,是他们最关心也是最需要解决的问题。
与此同时,对于安全管理者和高层管理者而言,如何描述当前网络安全的整体状况,如何预测和判断风险发展的趋势,如何指导下一步安全建设与规划,则是一道持久的难题。
对于一个大规模的网络而言,面临的风险也是巨大的,可分为广度风险和深度风险。
从广度上讲,以中国移动的CMNET网络为例,所辖IP地址超过3000万个,提供对外服务的网站数千个,规模大、节点类型丰富多样,伴随其中的安全问题随网络节点数量的增加呈指数级上升。
从深度上讲,下一代移动互联网安全威胁主要表现在传统攻击依然存在且手段多样、APT(高级持续性威胁)攻击逐渐增多且造成的损失不断增大。
而攻击者的工具和手段呈现平台化、集成化和自动化的特点,具有更强的隐蔽性、更长的攻击与潜伏时间、更加明确和特定的攻击目标。
以上造成了下一代安全威胁具有更强的杀伤能力与逃避能力。
结合广度风险与深度风险来看,大规模网络所引发的安全保障的复杂度激增,主要面临的问题包括:
安全数据量巨大;安全事件被割裂,从而难以感知;安全的整体状况无法描述。
网络安全感知能力具体可分为资产感知、脆弱性感知、安全事件感知和异常行为感知4个方面。
资产感知是指自动化快速发现和收集大规模网络资产的分布情况、更新情况、属性等信息;脆弱性感知则包括3个层面的脆弱性感知能力:
不可见、可见、可利用;安全事件感知是指能够确定安全事件发生的时间、地点、人物、起因、经过和结果;异常行为感知是指通过异常行为判定风险,以弥补对不可见脆弱性、未知安全事件发现的不足,主要面向的是感知未知的攻击。
随着Hadoop、NoSQL等技术的兴起,BigData大数据的应用逐渐增多和成熟,而大数据自身拥有Velocity快速处理、Volume大数据量存储、Variety支持多类数据格式三大特性。
大数据的这些天生特性,恰巧可以用于大规模网络的安全感知。
首先,多类数据格式可以使网络安全感知获取更多类型的日志数据,包括网络与安全设备的日志、网络运行情况信息、业务与应用的日志记录等;其次,大数据量存储与快速处理为高速网络流量的深度安全分析提供了技术支持,可以为高智能模型算法提供计算资源;最后,在异常行为的识别过程中,核心是对正常业务行为与异常攻击行为之间的未识别行为进行离群度分析,大数据使得在分析过程中采用更小的匹配颗粒与更长的匹配时间成为可能。
数据分析和业务紧密相关,近两年产生的数据量是过去互联网出现以来所有数据量的总和。
而随着社交网络和移动设备的普及,企业80%的数据是非结构化或半结构化的,结构化数据仅有20%。
同时,全球结构化数据增长速度约为32%,而非结构化数据的增速则高达63%。
大数据为传统安全防护带来不小的安全挑战。
中国电子信息产业发展研究院信息安全研究所分析师王闯表示,大数据时代的安全与传统安全相比,变得更加复杂。
“这体现在两方面:
一方面,大量的数据汇集,包括大量的企业运营数据、客户信息、个人的隐私和各种行为的细节记录。
这些数据的集中存储增加了数据泄露风险,而这些数据不被滥用,也成为人身安全的一部分。
另一方面,大数据对数据完整性、可用性和秘密性带来挑战,在防止数据丢失、被盗取和被破坏上存在一定的技术难度,传统的安全工具不再像以前那么有用。
”
由于这些数据已经成为企业生存的根本,信息安全防护体系的建设越发重要了。
但是面对海量的数据收集、存储、管理、分析和共享,传统意义上的网络与信息安全面临新的问题。
”王闯认为,“企业要从网络安全、数据安全、灾难备份和安全管理等各个角度考虑,部署整体的安全解决方案,来保障企业数据安全,知易行难。
当企业用数据挖掘和数据分析获取商业价值的时候,黑客也可以利用大数据分析向企业发起攻击。
“黑客最大限度地收集更多有用信息,比如社交网络、邮件、微博、电子商务、电话和家庭住址……为发起攻击做准备。
尤其当你的VPN账号被黑客获取时,黑客就可以获取你在单位的工作信息,进而入侵企业网络。
”绿盟科技首席战略官赵粮表示,大数据分析让黑客的攻击更精准。
通常,那些对大数据分析有较高要求的企业,会面临更多的挑战,例如电子商务、金融、天气预报的分析预测、复杂网络计算和广域网感知等。
启明星辰核心研究院资深研究员周涛告诉记者,任何一个会误导目标信息的提取和检索的攻击都是有效攻击,因为这些攻击对安全厂商的大数据安全分析产生误导,导致其分析偏离正确的检测方向。
“这些攻击需要我们集合大量数据,进行关联分析才能够知道其攻击意图。
大数据安全是跟大数据业务相对应的,传统时代的安全防护思路此时难以起效,并且成本过高。
”在周涛的眼里,与传统安全相比,大数据安全的最大区别是,安全厂商在思考安全问题的时候首先要进行业务分析,并且找出针对大数据的业务的威胁,然后提出有针对性的解决方案。
第二章大数据安全时代的威胁
2.1大数据安全威胁
大数据架构和平台算是新事物,而且还在以一种非凡的速度不断发展着。
商业和开源的开发团队几乎每月都在发布其平台的新功能。
当今的大数据集群将会与将来我们看到的数据集群有极大不同。
适应这种新困难的安全工具也将发生变化。
在采用大数据的生命周期中,业界仍处于早期阶段,但公司越早开始应对大数据的安全问题,任务就越容易。
如果安全成为大数据集群发展过程中的一种重要需求,集群就不容易被黑客破坏。
此外,公司也能够避免把不成熟的安全功能放在关键的生产环境中。
“大数据”一词常被误解。
事实上,使用频率太高反而使它几乎没有什么意义了。
大数据确实存储并处理大量的数据集合,但其特性体现远不止于此。
在着手解决大数据问题时,将其看作是一种观念而不是特定的规模或技术非常有益。
就其最简单的表现来说,大数据现象由三个大趋势的交集所推动:
包含宝贵信息的大量数据、廉价的计算资源、几乎免费的分析工具。
如今,有很多特别重视不同数据类型(例如,地理位置数据)的大数据管理系统。
这些系统使用多种不同的查询模式、不同的数据存储模式、不同的任务管理和协调、不同的资源管理工具。
虽然大数据常被描述为“反关系型”的,但这个概念还无法抓住大数据的本质。
为了避免性能问题,大数据确实抛弃了许多关系型数据库的核心功能,却也没犯什么错误:
有些大数据环境提供关系型结构、业务连续性和结构化查询处理。
由于传统的定义无法抓住大数据的本质,我们不妨根据组成大数据环境的关键要素思考一下大数据。
这些关键要素使用了许多分布式的数据存储和管理节点。
这些要素存储多个数据副本,在多个节点之间将数据变成“碎片”。
这意味着在单一节点发生故障时,数据查询将会转向处理资源可用的数据。
正是这种能够彼此协作的分布式数据节点集群,可以解决数据管理和数据查询问题,才使得大数据如此不同。
节点的松散联系带来了许多性能优势,但也带来了独特的安全挑战。
大数据数据库并不使用集中化的“围墙花园”模式(与“完全开放”的互联网相对而言,它指的是一个控制用户对网页内容或相关服务进行访问的环境),内部的数据库并不隐藏自己而使其它应用程序无法访问。
在这儿没有“内部的”概念,而大数据并不依赖数据访问的集中点。
大数据将其架构暴露给使用它的应用程序,而客户端在操作过程中与许多不同的节点进行通信。
规模、实时性和分布式处理:
大数据的本质特征(使大数据解决超过以前数据管理系统的数据管理和处理需求,例如,在容量、实时性、分布式架构和并行处理等方面)使得保障这些系统的安全更为困难。
大数据集群具有开放性和自我组织性,并可以使用户与多个数据节点同时通信。
验证哪些数据节点和哪些客户应当访问信息是很困难的。
别忘了,大数据的本质属性意味着新节点自动连接到集群中,共享数据和查询结果,解决客户任务。
在一项调查中,超过五分之一的被调查者说他们需要一天的时间来识别一个数据威胁,而5%的企业甚至表示这个过程需要花费一周的时间。
平均而言,企业识别一个安全威胁的时间达10个小时。
几乎没有公司能够对‘你是否正遭受威胁?
’这样一个简单的问题立刻给出回答。
更不用说,‘你能阻止威胁发生吗?
’。
为了在数量巨大,速率更快,种类繁多的信息涌入时代能够获取及时的威胁情报,企业必须分析、存储和管理这些大的安全数据。
不得不说,这些不断增长的大量事件,以及资产,威胁,用户和相关数据已经创建了一个挑战安全团队的大数据。
在讨论大数据时没有提到大数据的V(volume,velocityandvariety)是不完整的。
Volume指的是许多兆兆字节甚至千万亿字节的信息需要处理。
Velocity指的是每秒中能够接收的大量数据的能力。
最后,Variety涉及到不同的来源和被送入到大数据系统中的传统和非传统的数据类型,内容来自社交网站和第三方的威胁情报服务的大数据没有陷于系统日志和数据交换格式这样的老标准之中。
这三个V在大数据的不同定义中是相对标准的,但是一些定义也包括第四个V:
真实性或者可信赖性的数据。
对于大多数的数据类型,这是一个无关紧要的属性,但是对于包含在大数据分析中的各种数据,真实性绝对是应该考虑的事情,这些取决于数据源。
例如,从来自内部路由器记录的数据交换方式将比博客评论,Facebook状态更新或发布在Twitter的状态有一个更高的准确度的得分。
困难在于,和其他的资源比较如何衡量这些资源的重要性,然后再提供上下文进行分析。
2.2APT攻击更嚣张
火焰病毒爆发备受关注。
由于隐蔽性强,火焰病毒在潜藏了将近两年之后才被人们发现,高级持续性攻击(APT攻击)的厉害性也再次被人们所认识。
大数据为黑客发起攻击提供了更多机会。
利用大数据,黑客可以扩大攻击的效果。
这主要体现在三个方面:
首先,黑客利用大数据发起僵尸网络攻击,可能会同时控制上百万台傀儡机并发起攻击,这个数量级是传统单点攻击不具备的。
其次,黑客可以通过控制关键节点放大攻击效果。
再次,大数据的价值低密度性,让安全分析工具很难聚焦在价值点上,黑客可以将攻击隐藏在大数据中,给安全厂商的分析制造一些困难。
正如启明星辰周涛所言,黑客设置的任何一个会误导安全厂商目标信息提取和检索的攻击,都会导致安全监测偏离应有的方向。
黑客利用大数据将攻击很好地隐藏起来,使传统的防护策略难以检测出来。
传统的检测是基于单个时间点进行的基于威胁特征的实时匹配检测,而APT攻击是一个实施过程,并不具有能够被实时检测出来的明显特征,无法被实时检测。
同时,APT攻击代码隐藏在大量数据中,让其很难被发现。
此外,攻击者还可以利用社交网络和零日漏洞进行攻击,抓住威胁特征库无法检测出来的时间段,发起攻击。
尽管大数据似乎让黑客的攻击更加得心应手,能够取得更大的收益,不过,事情总有两面性,智能分享平台和大数据分析应对APT攻击的方式,在安全厂商中的声音越来越多。
在2012年Gartner安全和风险管理峰会上,Gartner公司副总裁NeilMacDonald预测,到2016年,40%的企业(以银行、保险、医药和国防行业为主)将积极地对至少10TB数据进行分析,以找出潜在危险的活动。
Gartner还认为,由于APT攻击崛起,大数据分析成为很多企业信息安全部门迫切需要解决的问题。
传统安全防御措施很难检测高级持续性攻击,因为这种攻击与之前的恶意软件模式完全不同。
既然APT攻击很难被检测到,企业必须先确定正常、非恶意活动是什么样子,才能尽早确定企业的网络和数据是否受到了攻击。
Macdonald表示:
“要成功做到这一点,企业需要更多的数据来建立一个基线标准,这也就是大数据的用武之地。
”的确,大数据让检测过程变得自动化,效率更高。
大数据对安全厂商而言,最重要的是你如何将事件的模式、攻击的模式、时间和空间上的特征,总结抽象出来一些模型,变成大数据工具可以帮你发现的一些模式。
首先要搞清楚攻击是如何发起,会造成什么影响,然后根据分析结果建立安全模型,即使用自然语言讲起来都会存在很大不确定性,而要把它变成机器语言,安全厂商面临非常大的挑战。
要建立合理的模型,安全厂商需要对非常多的数据进行关联分析,例如APT攻击建模不只是针对一个攻击包或者某一个威胁架构,而是需要针对大范围的数据,“包括一个区域或者一个行业的数据”。
不仅如此,为了精准地描述威胁特征,建模的过程可能耗费几个月甚至几年时间,企业需要耗费大量人力、物力、财力成本,才能达到目的。
第三章大数据安全的防护
3.1数据完整的防护
在考虑大数据发展的同时,数据必须得到完整的防护。
在信息时代,多样的安全环境中,采用具有针对性且灵活性高的山丽多模透明加密技术是最好的选择。
多模加密技术结合了对称和非对称的算法,在保证了加密质量的同时确保了数据加密的灵活性,这种灵活性对于处理大数据的安全是十分有利的。
同时基于系统内核的透明加密技术使大数据在无形中加密,不会产生任何异常感,同时能适应各种格式的大数据。
既然名为“大数据”,所以保护大数据的安全就必须从数据本身出发,采用具有针对性且防护全面的加密软件无疑是最好的选择,在这个大前提下,大数据发展的光明未来指日可待。
对于企业来说,快速检测数据威胁的能力对于防止数据丢失至关重要,然而只有35%的企业表示他们有能力做到这一点。
罪魁祸首是谁?
是虚拟化的数据源构成的一个不断升级的阵列?
是随时随地的工作习惯?
还是终端设备和应用程序的爆炸性增长?
总之,世界各地的组织机构发现他们自己没有驾驭大数据安全的能力。
在安全行业意识到用大数据来分析复杂、类型多样的输入性数据的有效性并寻求一种方式,使其能解决现在的安全的这个问题上,是一个时间的问题罢了。
如今,很少能够听到哪个新的安全产品没有提到大数据的。
安全产品的供应商预言大数据可以获得安全信息,事件管理并能满足企业的需求,那就需要把来势汹涌的大量数据和新的信息来源进行分析。
3.2大数据不同于关系型数据库
大数据安全无异于关系型数据安全。
事实上,其差异很大。
不仅实时性和数据量不同,而且带来独特困难的分布式架构也有差异。
除此之外,大数据使用不同的存储模式和查询模式,而且要在多个网络通信会话之间协调任务。
许多安全产品所使用的监视、分析日志文件、发现数据和评估漏洞的技术在大数据环境中并不能有效运行。
多数安全产品不能进行调整,从而无法满足大数据集群领域,也不能完全理解其面对的信息。
为解决大数据的安全问题,需要重新实现或全面设计多数安全工具的架构。
大数据还未用于生产中:
大数据项目在内部IT过程的外部运行,并使用第三方的资源,所以在某些方面大数据被认为是“忽悠”。
但大数据实际上是生产性部署,它共享客户数据、与不同的系统交换报告,并会形成能够决定业务决策的知识产权。
大数据的存在有点儿像上个世纪九十年代末期的互联网:
很多人曾认为网页和互联网是“一时流行的狂热”,但到这些人开始大量使用互联网时,这些技术已经在业界广泛使用了。
大数据技术也是“新生代”,但其影响却是实实在在的,而且就在我们身边。
现有的安全工具对大数据都是起作用的。
你可以把现有的产品联接到大数据的配置中,但这并不意味着这些产品可以运行。
有时,为使大数据与某种安全产品“联姻”,你需要调整大数据集群的部署方式,或调整应用程序与大数据的通信方式。
安全产品不应当限制大数据的核心功能,否则就不称其为大数据了。
问题是,多数安全产品确实给大数据带来某种限制。
如果你的安全厂商说自己的产品“在特定情况下大体上可以运行在大数据环境下”,那么,你不妨找一家更专业的解决方案。
大数据集群中不保存敏感数据:
大数据集群常常有意无意地存储敏感数据。
许多大数据的发起商说它们并不收集敏感数据。
但是在与架构师和数据管理员交谈时,他们会有不同的说法。
通常,为了获得更多数据并提供更好的分析,包括敏感信息在内的数据源都会被接纳到大数据的集群中, 近年来,随着信息数据的爆炸式增长,数据的财富转换率也出现了增长,因此就造成了一个大数据时代的背景。
数据的增长给越来越多的企业敲响了警钟:
大数据时代的数据安全十分脆弱!
没有安全的数据是缺乏足够财富支撑的,所以很多企业认为建立自己的新型数据安全模式是刻不容缓的。
云计算时代的到来促进了网络数据的高速发展,在过去的三年里增长的数据甚至超越了人类几百年的数据增长。
这些数据的出现意味着巨大的财富,但是数据的非结构化和安全隐患不断增加,由此引发出“大数据时代的数据安全怎么做”这个话题,安全专家认为需要在原有安全的基础上加入新的的网络元素,继续沿用既有的数据安全思路,稳中求进。
因为原有的端点数据安全模式十分稳定,具有较长的运用经验,安全可靠高效。
在面对现在的大数据特性,对于原有的端点安全技术来说,只需要在一些方面作出调整,使其更加完善,便可以实现最终的安全。
3.3大数据的加固网络层的安全策略
数据结构化对于数据安全和开发有着非常重要的作用。
大数据时代的数据非常的繁杂,对于很多企业来说,如何保证这些信息数据在被利用之前的安全是一个十分严肃的问题。
结构化的数据便于管理和加密,更便于处理和分类,能够有效的智能分辨非法入侵数据,保证数据安全。
数据结构化虽然不能够彻底改变数据安全的格局,但是能够加快数据安全系统的处理效率。
未来数据标准化,结构化是一个大趋势,不管是怎样的数据安全模式都希望自己的数据更加的标准,更加的易于管理、加密、处理和分类。
常规的数据安全模式往往喜欢分层构建。
这也是数据安全的常规做法。
现有的端点安全方式对于网络层的安全防护并不完美。
一方面是大数据时代的信息爆炸,导致网端的非法入侵次数急剧增长,这对于网络层的考验十分的严峻;另一方面由于云计算的大趋势,现在的网络数据威胁方式和方法越来越难以预测辨识,这给现有的端点数据安全模式造成了巨大的压力。
在未来,网络层安全应当作为重点发展的一个层面。
在加强网络层数据辨识智能化,结构化的基础上加上于本地系统的相互监控协调,同时杜绝非常态数据的运行,这样就能够在网络层构筑属于大数据时代的全面安全堡垒,完善自身的缺陷。
因此网络层的安全策略是端点数据安全的重点加固对象。
3.4NoSQL并非万无一失
Hadoop作为一个分布式系统架
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 当今 数据 安全技术 研究
![提示](https://static.bingdoc.com/images/bang_tan.gif)