大数据专业调研报告资料下载.pdf
- 文档编号:5979730
- 上传时间:2023-05-05
- 格式:PDF
- 页数:30
- 大小:1.41MB
大数据专业调研报告资料下载.pdf
《大数据专业调研报告资料下载.pdf》由会员分享,可在线阅读,更多相关《大数据专业调研报告资料下载.pdf(30页珍藏版)》请在冰点文库上搜索。
”“大数据”在物理学、生物学、环境生态学等领域以及军事、金融、通讯等行业存在已有时日,却因为近年来互联网和信息行业的发展而引起人们关注。
大数据技术的战略意义不在于掌握庞大的数据信息,而在于对这些含有意义的数据进行专业化处理。
换言之,如果把大数据比作一种产业,那么这种产业实现盈利的关键,在于提高对数据的“加工能力”,通过“加工”实现数据的“增值”。
大数据需要特殊的技术,以有效地处理大量的容忍经过时间内的数据。
适用于大数据的技术,包括大规模并行处理(MPP)数据库、数据挖掘电网、分布式文件系统、分布式数据库、云计算平台、互联网和可扩展的存储系统。
二、国内外研究现状国外除了在大数据的概念上的研究外,重点放在技术研究。
美国政府六个部门启动的大数据研究计划中,绝大多数研究项目都是应对大数据带来的技术挑战,重视的是数据工程而不是数据科学,主要考虑大数据分析算法和系统的效率。
2015年9月,国务院发布了促进大数据发展行动纲要,已经将大数据应用上升到了国家战略的层面,将数据视为“国家基础性战略资源”,号召政府部门对数据的开发共享。
国内在大数据研究领域的重点在大数据与云计欢迎报考“数据科学与大数据技术专业数据科学与大数据技术专业”,该调研报告撰稿、编辑人:
马洪亮3算、数据挖掘,并行计算和分布式处理,应用式主要集中在地理信息系统,大数据在商品零售、金融等领域的应用已经非常广泛,而在法律领域,其实也有许多可挖掘、可利用、可产生价值的地方。
阿里云大学联合慧科教育实施“阿里云大学合作计划”,在全国高校合作开设云计算与数据科学方向专业,并向高校开放阿里云计算、大数据、工程师以及生态圈伙伴等资源。
未来三年,阿里云与慧科将在全国100所高校完成专业课程开设,通过“互联网+教育”的模式覆盖300所大学的云计算与数据科学教育,培养和认证5万名云计算和数据科学工作者。
北京航空航天大学、浙江大学、复旦大学、上海交通大学、西安交通大学、南京大学、武汉大学、华南理工大学在内的首批8所高校,正式落户阿里云大学合作计划AUCP。
据国外著名职业人士社交网站LinkedIn公布的2014年最受雇主喜欢、最炙手可热的25项技能,统计分析和数据挖掘技能位列榜首。
研究机构Gartner预测,2015年,全球将新增440万个与大数据相关的工作岗位,25%的组织将设立首席数据官职位。
目前高校专业设置与社会需求出现落差,成为中国大数据发展的瓶颈。
二、高校专业设置云的时代已全面到来!
现在,越来越多的大中型企业正将基础架构向云端加速迁移,小微企业和个人开发者更是将云作为基础设施的首选。
随着云的能力不断提升,在DT时代,绝大多数的计算与数据服务都会在云端完成。
面对这一发展趋势,除了需要在技术欢迎报考“数据科学与大数据技术专业数据科学与大数据技术专业”,该调研报告撰稿、编辑人:
马洪亮4上不断将计算能力提升之外,云计算、大数据方面的专业人才缺失,也成为了整个生态面临的严峻挑战!
站在互联网“风口”上的大数据,直接催热了大学里的大数据专业。
1、专业设置情况该专业依托基于数学、统计学、计算机以及其他具体实践领域的交叉学科。
主要培养能够在商业、金融和经济等领域从事大数据处理、分析及预测等工作的应用型复合型人才,需求前景广阔。
2016年2月,教育部公布新增的“数据科学与大数据技术”专业,北京大学、对外经济贸易大学、中南大学成为首家获批高校。
时隔一年,2017年3月,教育部公布第二批“数据科学与大数据技术”专业获批的32所高校。
到此为止,我国已有35所高校获批该专业。
第一批第一批“数据科学与大数据技术专业数据科学与大数据技术专业”获批名单获批名单第二批第二批”数据科学与大数据技术专业数据科学与大数据技术专业”获批名单获批名单1中国人民大学欢迎报考“数据科学与大数据技术专业数据科学与大数据技术专业”,该调研报告撰稿、编辑人:
马洪亮52北京邮电大学3复旦大学4华东师范大学5电子科技大学6北京信息科技大学7中北大学8晋中学院9长春理工大学10上海工程技术大学11上海纽约大学12浙江财经大学13宿州学院14福建工程学院15黄河科技学院16湖北经济学院17佛山科学技术学院18广东白云学院19北京师范大学-香港浸会大学联合国际学院20广西科技大学21重庆理工大学22成都东软学院欢迎报考“数据科学与大数据技术专业数据科学与大数据技术专业”,该调研报告撰稿、编辑人:
马洪亮623电子科技大学成都学院24贵州大学25贵州师范大学26安顺学院27贵州商学院28贵州理工学院29昆明理工大学30云南师范大学31云南财经大学32宁夏理工学院欢迎报考“数据科学与大数据技术专业数据科学与大数据技术专业”,该调研报告撰稿、编辑人:
马洪亮7全国高校纷纷响应,都在积极申报,而且这完全符合国家推动大数据发展的政策,下一批估计会有几百所获批。
目前国内高校很少有开设大数据方向的相关专业,业内先驱当属北航软件学院大数据技术与应用专业。
此专业是北航软件学院、北航计算机学院与慧科教育(工信部移动云计算教育培训中心)联合打造的大数据技术欢迎报考“数据科学与大数据技术专业数据科学与大数据技术专业”,该调研报告撰稿、编辑人:
马洪亮8与应用专业,于2012年开始招收工程硕士。
另外,2013年,华东师范大学成立了数据科学与工程研究院;
2014年,华南理工大学设立了云计算与大数据专业;
同年,清华大学成立“清华青岛数据科学研究院”,设立大数据的硕士博士学位项目。
另外,开设大数据相关本科专业的院校有贵州师范学院、贵州大学和北京城市学院。
而2014年9月开始,西安欧亚学院也开始对外招收网络工程专业(大数据方向)。
2、2017年大数据专业大学排名下面是收集整理出来的有关于2017年大数据专业的大学名单。
2017年全国高校大数据专业学校学校名称专业名称专业代码学位授予门类修业年限豫招计划长春理工大学数据科学与大数据技术080910T工学四年3人北京大学数据科学与大数据技术080910T理学四年北京信息科技大学数据科学与大数据技术080910T工学四年北京邮电大学数据科学与大数据技术080910T工学四年对外经济贸易大学数据科学与大数据技术080910T工学四年中国人民大学数据科学与大数据技术080910T工学四年晋中学院数据科学与大数据技术080910T工学四年中北大学数据科学与大数据技术080910T工学四年福建工程学院数据科学与大数据技术080910T工学四年宿州学院数据科学与大数据技术080910T工学四年复旦大学数据科学与大数据技术080910T理学四年华东师范大学数据科学与大数据技术080910T工学四年上海工程技术大学数据科学与大数据技术080910T工学四年1人上海纽约大学数据科学与大数据技术080910TH工学四年浙江财经大学数据科学与大数据技术080910T理学四年北京师范大学-香港浸会大学联合国际学数据科学与大数据技术080910TH工学四年欢迎报考“数据科学与大数据技术专业数据科学与大数据技术专业”,该调研报告撰稿、编辑人:
马洪亮9院佛山科学技术学院数据科学与大数据技术080910T工学四年广东白云学院数据科学与大数据技术080910T工学四年广西科技大学数据科学与大数据技术080910T工学四年黄河科技学院数据科学与大数据技术080910T工学四年湖北经济学院数据科学与大数据技术080910T工学四年中南大学数据科学与大数据技术080910T工学四年安顺学院数据科学与大数据技术080910T工学四年贵州大学数据科学与大数据技术080910T工学四年贵州理工学院数据科学与大数据技术080910T工学四年贵州商学院数据科学与大数据技术080910T工学四年贵州师范大学数据科学与大数据技术080910T工学四年成都东软学院数据科学与大数据技术080910T工学四年电子科技大学数据科学与大数据技术080910T工学四年4人电子科技大学成都学院数据科学与大数据技术080910T工学四年昆明理工大学数据科学与大数据技术080910T工学四年云南财经大学数据科学与大数据技术080910T理学四年云南师范大学数据科学与大数据技术080910T工学四年重庆理工大学数据科学与大数据技术080910T工学四年本科第二批次理工类2人三、“大数据”专业人才培养自2015年以来,阿里巴巴已牵手200多所高校,成立大数据研究院,拟培养大批量大数据专业人才。
数据将会成为未来产业财富扩张的重要引擎,将在我国的产业经济发展中扮演举足轻重的角色。
全国高校纷纷响应,都在积极申报,而且这完全符合国家推动大数据发展的政策,下一批估计会有几百所获批。
那么,各大高校应该怎么建设大数据专业,才能不至于掉队呢?
马洪亮101、培养目标本专业培养德、智、体全面发展,掌握扎实的计算机专业基础知识,具备科学人文精神、创新创业精神和良好职业道德精神,具备自主学习能力、批判思维能力、国际交流能力和团队协作能力,掌握数据科学与大数据技术所需的统计学、数学,计算机、网络、数据处理等相关学科以及经济学领域基础知识和技能,熟练掌握大数据采集、存储、处理与分析、传输与应用等技术,具备大数据工程项目的设计和开发能力,具有一定的大数据科学研究能力与素欢迎报考“数据科学与大数据技术专业数据科学与大数据技术专业”,该调研报告撰稿、编辑人:
马洪亮11质,能在IT行业、金融业、行政事业单位等行业从事大数据的分析、预测、处理、服务、开发与利用等工作的应用型、复合型高级专门人才。
2、大数据领域三个大的技术方向:
方向一:
Hadoop(在分布式服务器集群上存储海量数据并运行分布式分析应用的一种方法)大数据开发方向方向二:
数据挖掘、数据分析&
机器学习方向欢迎报考“数据科学与大数据技术专业数据科学与大数据技术专业”,该调研报告撰稿、编辑人:
马洪亮12方向三:
大数据运维&
云计算方向欢迎报考“数据科学与大数据技术专业数据科学与大数据技术专业”,该调研报告撰稿、编辑人:
马洪亮133、课程设置大数据专业将从大数据应用的三个主要层面(即数据管理、系统开发、海量数据分析与挖掘)系统地帮助企业掌握大数据应用中的各种典型问题的解决办法,包括实现和分析协同过滤算法、运行和学习分类算法、分布式Hadoop集群的搭建和基准测试、分布式Hbase集群的搭建和基准测试、实现一个基于、Mapreduce的并行算法、部署Hive并实现一个的数据操作等等,实际提升企业解决实际问题的能力。
核心课程核心课程:
程序设计基础、数据结构、数据库原理与应用、概率论与数理统计、高等代数、应用统计学、面向对象程序设计、算法设计与分析、数据库原理及应用、大数据分析应用欢迎报考“数据科学与大数据技术专业数据科学与大数据技术专业”,该调研报告撰稿、编辑人:
马洪亮14平台Hadoop、大数据处理、数据可视化原理与方法、数据挖掘等以及相应的项目与实训课程。
3、核心技术
(1)大数据与Hadoop生态系统。
详细介绍分析分布式文件系统HDFS、集群文件系统ClusterFS和NoSQLDatabase技术的原理与应用;
分布式计算框架Mapreduce、分布式数据库HBase、分布式数据仓库Hive。
(2)关系型数据库技术。
详细介绍关系型数据库的原理,掌握典型企业级数据库的构建、管理、开发及应用。
(3)分布式数据处理。
详细介绍分析Map/Reduce计算模型和HadoopMap/Reduce技术的原理与应用。
(4)海量数据分析与数据挖掘。
详细介绍数据挖掘技术、数据挖掘算法Minhash,JaccardandCosinesimilarity,TF-IDF数据挖掘算法聚类算法;
以及数据挖掘技术在行业中的具体应用。
(5)物联网与大数据。
详细介绍物联网中的大数据应用、遥感图像的自动解译、时间序列数据的查询、分析和挖掘。
(6)文件系统(HDFS)。
详细介绍HDFS部署,基于HDFS的高性能提供高吞吐量的数据访问。
(7)NoSQL。
详细介绍NoSQL非关系型数据库系统的原理、架构及典型应用。
马洪亮154、高素质人才培养作为交叉型学科,大数据的相关课程涉及数学、统计和计算机等学科知识,“数据科学与大数据技术”专业也强调培养具有多学科交叉能力的大数据人才。
首先需要明确大数据专业需要培养什么样的人才。
“数据科学与大数据技术”专业(专业代码080910T)强调培养具有多学科交叉能力的大数据人才。
该专业人才一般需要培养以下专业能力:
一是理论性的,主要是对数据科学中模型的理解和运用;
二是实践性的,主要是处理实际数据的能力;
三是应用性的,主要是利用大数据的方法解决具体行业应用问题的能力。
马洪亮16理论是基础,实践是工具,而应用则是目标与核心竞争力,一名合格的大数据专业毕业生应该具有让数据产生价值的能力。
马洪亮17其中,理论素养的培养需要通过经典的数据数据课程,比如描述统计(含数据可视化)、回归分析、多元统计、机器学习(含深度学习)、时间序列、非结构化数据、运筹优化等,根据各学校的不同定位,以应用为导向,相应地开设基础课程、核心课程或者选修课程。
马洪亮18实践方面,则需要以下几个方面的巩固提高。
第一、要强化SQL的训练,这是在企业环境中,同数据库基本的交互。
第二、要强化R和Python的训练。
就R而言,几乎所有最新的统计方法,都能找到相应的package,是小样本学习训练的不二之选;
而在实际的数据产业中,Python则是被用得最多的编程语言。
第三、并行计算能力的提升,主要针对两种最常见的技术框架:
Hadoop和Spark。
最后,无论理论和实践功课做得多足,没有一个真实的应用场景,都无法产生价值,所以还需要产业实践。
比如,大数据与金融学结合催生出金融科技方向,带来了征信、风控、自动化交易、机欢迎报考“数据科学与大数据技术专业数据科学与大数据技术专业”,该调研报告撰稿、编辑人:
马洪亮19器人投资顾问等分支;
数据挖掘与生物学结合产生了计算生物学方向而这些大数据应用都需要深入企业真实项目和案例的实战。
社会对大数据人才的需求是多层次的,大数据人才的培养也应该有区别有重点。
如果说硕士层次注重职业发展的广度和综合运用能力,本科注重扎实的学科基础和工程实践能力,而专科侧重具体的岗位的技术运用能力。
比如,高职高专学校怎么建设大数据专业呢?
从事数据挖掘的人都知道,数据挖掘的80%工作量都在数据清洗准备。
这个工作又繁琐,又消耗大量的人力,但是对技能水平要求并没有那么高,那么高职高专学校正好可以培养大量大数据准备人才。
任何专业人才的培养,任何一个学科的发展壮大,都离不开完整的教学体系、贴合的教学内容、适用的实践应用平台以及过硬的师资水平,大数据专业亦是如此。
所以对于大数据专业的申报而言,欢迎报考“数据科学与大数据技术专业数据科学与大数据技术专业”,该调研报告撰稿、编辑人:
马洪亮20如果能统一整合以上各方面资源,那么专业建设将会变得事半功倍。
3、民办高校培养案例数据分析是一个朝阳行业,而高校大数据人才培养更是一个新兴的领域,在很多高校都没有做好准备的情况下,在未来的发展中,需要总结出更多的经验,不断完善大数据人才的培养工程。
高校开设大数据专业,本科四年制,培养阶段划分为通识教育、专业培养和多元化培养三个培养阶段。
第一阶段:
通识教育培养阶段。
按照工程人才培养的共性要求而设置,并为全面素质教育奠定基础。
包括综合基础和基本技能两个模块。
在综合基础模块中,设置了由“政治思想理论课、高等数学、大学物理、体育”等系列课程构成的必修课程,和由人文科学与艺术、社会科学、自然科学等系列课程构成的选修课程。
重点满足对学生逻辑思维、思想品德、身心健康、人文科学与艺术、社会活动能力等各方面素质培养的要求。
在基本技能模块中,主要设置有计算机类、英语类和人文类等课程。
重点培养学生具有较强的计算机应用能力、良好的中外文沟通、表达与写作能力,基本工程与科研素养以及良好的国际视野和国际竞争能力。
第二阶段:
专业培养阶段。
培养大数据分析人才必备基础理论知识和技术能力。
包括专业欢迎报考“数据科学与大数据技术专业数据科学与大数据技术专业”,该调研报告撰稿、编辑人:
马洪亮21基础能力和学历提升两个模块。
学历提升模块开设计算机类考研必备的高等数学、英语、计算机网络、数据库基础、数据挖掘等基础性课程,使学生掌握扎实的学科基础理论;
专业基础模块开设统计学基础、多元统计分析、时间序列分析、Hadoop并行计算、数据可视化技术和分布式云计算等专业技术基础课程,让学生掌握大数据在数据管理、系统开发、数据分析与数据挖掘等方面的核心技能,培养工程人才在计算机学科网络大数据专业领域中必要的、最基础的知识和能力。
第三阶段:
多元化培养阶段。
通过设计多元化课程体系,为学生提供自主选择专业方向的机会,使学生个性培养得以实现。
大数据专业将从大数据应用的三个主要层面(即数据管理、系统开发、海量数据分析与挖掘)系统地帮助企业掌握大数据应用中的各种典型问题的解决办法,包括实现和分析协同过滤算法、运行和学习分类算法、分布式Hadoop集群的搭建和基准测试、分布式Hbase集群的搭建和基准测试、实现一个基于、Mapreduce的并行算法、部署Hive并实现一个的数据操作等等,实际提升企业解决实际问题的能力。
五、政策支持大数据产业发展谁率先拥有大数据、善于利用大数据,谁就能掌握主动、赢得未来。
各地、各部门依据国务院促进大数据发展行动纲要文件精神,相继出台政策,大力支持大数据产业发展。
其中,欢迎报考“数据科学与大数据技术专业数据科学与大数据技术专业”,该调研报告撰稿、编辑人:
马洪亮22福建:
日前,厦门市政府发布了厦门市促进大数据发展工作实施方案,厦门市将以政府大数据开放开发为先导,推动大数据技术与社会经济各领域应用的深度融合。
山西:
2017年3月16日,山西公布了山西省大数据发展规划(2017-2020年)、山西省促进大数据发展应用的若干政策和山西省促进大数据发展应用2017年行动计划。
到2020年,山西大数据相关产业产值将实现1000亿元以上。
贵州:
2017年3月16日,贵阳市出台贵阳市大数据旅游领域应用三年行动计划征求意见稿,提出:
到2019年,全市打造智慧旅游示范企业3至5个,引进和培育大数据旅游企业5至10家,旅游大数据相关产业产值将达200亿元,旅游业态逐步向综合性、融合性转型。
广西:
日前,广西印发关于组织申报2017年工业云与工业大数据试点示范项目的通知。
该省将积极推进工业云和工业大数据试点示范应用,鼓励行业龙头企业建立面向行业的工业云和工业大数据试点示范平台。
工业和信息化部:
马洪亮23制定软件和信息技术服务业发展规划(2016-2020年)提出将研究制定新形势下适应产业发展新特点的政策措施,加大对软件和信息技术服务业发展的财政资金支持,着力研发云计算、大数据、移动互联网、物联网等新兴领域关键软件产品和解决方案,加快培育新业态和新模式。
2017年1月17日,公布了大数据产业发展规划(2016-2020年),提出了到2020年的发展目标:
大数据相关产品和服务业务收入突破1万亿元,年均复合增长率保持30%左右。
此外,还将培育一批专业化数据服务创新型中小企业、10家国际领先的大数据核心龙头企业和500家大数据应用及服务企业,初步形成大数据产业体系。
最高检:
最高检日前印发检察大数据行动指南(20172020年),主要内容是:
检察大数据的建设背景和发展现状,指导思想、总体思路、建设目标和发展路线图,2017年至2020年“一中心四体系”的建设任务,具体保障措施,2017年重点工作任务。
其中,“一中心四体系”是指国家检察大数据中心,检察大数据标准体系、应用体系、管理体系和科技支撑体系;
国家检察大数据中心包括检察大数据共享交换平台、检务大数据资源库、大数据软硬件基础资源、智能语音大数据平台资源等。
六、人才缺口及就业1、行业现状(人才缺口巨大)欢迎报考“数据科学与大数据技术专业数据科学与大数据技术专业”,该调研报告撰稿、编辑人:
马洪亮24今天,越来越多的行业对大数据应用持乐观的态度,大数据或者相关数据分析解决方案的使用在互联网行业,比如百度、腾讯、淘宝、新浪等公司已经成为标准。
而像电信、金融、能源这些传统行业,越来越多的用户开始尝试或者考虑怎么样使用大数据解决方案,来提升自己的业务水平。
在“大数据”背景之下,精通“大数据”的专业人才将成为企业最重要的业务角色,“大数据”从业人员薪酬持续增长,人才缺口巨大。
各大高校紧锣密鼓启动大数据人才培养,缘于大数据时代催生的大量相关人才缺口。
全球最顶尖管理咨询公司麦肯锡(McKinsey)出具的一份详细分析报告显示,预计到2018年,大数据领域的工作需求急剧扩大,工作岗位激增。
大数据科学家的缺口将在14万到19万之间,而懂得利用大数据做决策的分析师及经理的岗位缺口预计可能达到150万。
2、企业需求如果说2015年是“大数据元年”的话,那么2016年就是大数据产业真正爆发的一年。
如今,2017年我国大数据产业发展已初具规模,但在人才市场上缺乏综合掌握数学、统计学、计算机等相关学科及应用领域知识的综合性数据科学人才,特别是缺乏既熟悉行业业务又掌握大数据技术与管理的综合型人才。
企业需要的大数据人才,从个人素质方面,需要以下能力:
马洪亮25良好的数据敏感度,能从海量数据提炼核心结果。
对统计、数学建模有强烈的兴趣和钻研精神。
良好的学习能力、团队协作能力、逻
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 数据 专业 调研 报告