1、大数据技术与应用专业调研报告1调研基本信息1.1调研目的通过本次调研收集和分析大数据专业学生的社会人才需求状况、能力要求以及相关岗位的工作内容，了解社会、行业以及企业对大数据专业人才知识、技能、素质要求的变化和趋势，为学校大数据专业设置、教学教研、招生规模、学生就业指导提供信息，为专业人才培养目标定位、教学计划和课程标准的修订、教学的改革提供依据和帮助，提高学校人才培养质量及毕业生的就业质量。1.2行业背景“大数据（big data）”，指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信
2、息资产。大数据是一个体量特别大，数据类别特别大的数据集，并且这样的数据集无法用传统数据库工具对其内容进行抓取、管理和处理。大数据首先是指数据体量(volumes)大；其次是指数据类别(variety)大，数据来自多种数据源，数据种类和格式日渐丰富，已冲破了以前所限定的结构化数据范畴，囊括了半结构化和非结构化数据。接着是数据处理速度（Velocity）快，在数据量非常庞大的情况下，也能够做到数据的实时处理。最后一个特点是指数据真实性（Veracity）高，随着社交数据、企业内容、交易与应用数据等新数据源的兴起，传统数据源的局限被打破，企业愈发需要有效的信息之力以确保其真实性及安全性。大数据技术是
3、指从各种各样类型的巨量数据中，快速获得有价值信息的技术。解决大数据问题的核心是大数据技术。目前所说的大数据不仅指数据本身的规模，也包括采集数据的工具、平台和数据分析系统。大数据研发目的是发展大数据技术并将其应用到相关领域，通过解决巨量数据处理问题促进其突破性发展。因此，大数据时代带来的挑战不仅体现在如何处理巨量数据从中获取有价值的信息，也体现在如何加强大数据技术研发，抢占时代发展的前沿。1.3调研方法及对象本次调研主要以企业问卷调查表和上门座谈的方式相结合，并结合网络企业招聘需求，调查了近100家企业的大数据用人需求，包括阿里云授权服务商、渠道提供商以及客户企业，以下挑选了10家企业作为代表：
4、调查企业名称企业性质（打）调查企业所属行业调查企业访谈对象企业基本情况（规模、地位等）国有民营外资其它江苏中楚电子科技有限公司计算机软件 互联网/电子商务人事主管江苏中楚电子科技有限公司专注于移动智能终端领域，面向全球客户提供领先的电子产品、信息服务及行业解决方案的供应商及运营商。现已和国内外多家移动运营商、互联网公司、终端设备厂商及内容服务厂商建立紧密的战略合作关系。北京科莱特信息技术有限公司计算机软件 多元化业务集团公司人事主管北京科莱特信息技术有限公司是国内专业的IT服务供应商， 专注于企业信息化解决方案。特别是在SAP/ERP领域在国内享有很高的知名度。科莱特的服务网络遍布中国大陆，并
5、为众多国际国内500强企业提供项目实施、技术支持等。多年来，科莱特不断的扩大其解决方案和服务范围， 并且与国际领先的IT产品和服务供应商SAP、IBM、HP、埃森哲、亚信联创等建立长期战略伙伴关系。上海梦创软件科技有限公司计算机软件人事经理上海梦创软件科技有限公司的前身双杨公司成立于1993年，20多年来，公司专注于智慧党务、智慧政务和大数据三大领域，公司总部位于上海，在北京、南京、济南、广州、沈阳、重庆、珠海、成都、呼和浩特等地设有分公司和办事处，客户在全国超过5000家，包括18家省部级单位、20家副省级党校、覆盖40多个行业，党校（行政学院）占有率超过70%，部委机关协同办公的市场占有率
6、超过30%，是当之无愧的国内“党政信息化”*。公司处于快速成长期，近三年复合增长率超过40%。江苏达科信息科技有限公司计算机软件项目主管江苏达科信息科技有限公司成立于2005年4月7日，目前注册资本5000万元人民币。江苏达科是一家集网络系统集成、网络安全服务、应用软件开发、软件外包技术服务、智能交通产品研发以及物联网技术研发为一体的高新技术企业。江苏中兴华易科技发展有限公司计算机软件/增值服务售前工程师江苏中兴华易科技发展有限公司是由上市电信设备制造商中兴通讯股份有限公司（SZ：000063）与江苏华博实业集团共同投资成立的软件企业，依托大数据致力于成为移动互联网以及行业领域的专业解决方案服
7、务商。江苏欣网视讯软件技术有限公司计算机软件 通信/电信运营、增值服务售前工程师江苏欣网视讯软件技术有限公司()的前身是南京欣网视讯科技股份有限公司，创建于1998年，是由上海富欣投资发展有限公司、中广有线信息网络有限公司、中信信息科技投资有限公司、南京大学、南京贝豪科技有限公司等共同投资组建的股份制公司。2003年10月，公司在上海证券交易所挂牌上市（股票名称：欣网视讯，股票代码：600403）。服务江苏苏源高科技有限公司计算机软件售前工程师江苏苏源高科技有限公司（简称苏源高科）是一家专业从事大型行业应用软件开发、智能配用电产品研发生产及能效服务、信息系统集成、建筑智能化工程设计与施工、计算
8、机硬件产品销售、视觉创意及品牌形象推广于一体的知名高新技术企业。公司成立于2000年11月，注册资金人民币5000万元，拥有一支年轻充满活力、积极进取创新的专业团队。公司以优化结构为基础、技术创新为动力，快速成长、稳健发展，多年来保持着稳健的增长势头。南京南恒软件科技有限公司计算机软件 计算机服务(系统、数据服务、维修)项目工程师南京南恒软件科技有限公司是一家自主研发游戏软件及提供移动终端应用软件、游戏软件等研发外包服务的专业公司，成立于2013年9月。 公司致力于为客户提供移动应用软件开发、游戏定制、本地化和全球化移动商务解决方案等业务外包及相关资讯服务。我们拥有全国最资深的iOS、Andr
9、oid及开发团队；组建了全球最前沿的Windows8及Windows Phone8技术研发团队；提供全平台解决方案。现已经实现了iOS、Android、iMac、PC以及智能电视多平台互动的尖端技术。浙江立元通信技术股份有限公司通信/电信/网络设备 通信/电信运营、增值服务人事经理江苏博融信息技术有限公司是一家专业从事信息技术的高新企业。公司以发展计算机应用高新技术产业为目标，以行业用户专业应用软件开发为主体，以系统集成、技术服务为重点，专业致力于为政府、医疗、金融、传媒、电信、制造等领域。为各行各业的用户提供战略性的IT整合解决方案。江苏运时数据软件股份有限公司计算机软件人事主管江苏运时数据
10、软件有限公司是一家专业从事商业智能（BI）软件产品研发，面向中小银行、金融及制造业提供数据交换（DE）、数据加工（ETL）、多维数据分析（OLAP）和数据挖掘（DM）平台为一体的商业智能软件基础工具平台产品供应、BI行业应用产品开发、BI产品咨询及提供BI项目实施的高科技软件企业。总计1001.4调研内容1、行业与就业调研大数据国家政策分析大数据行业现状分析；大数据行业前景分析；大数据人才的需求分析。2、企业调研企业招聘员工的素质要求；企业大数据岗位员工的薪酬待遇；企业大数据从业人员的主要岗位；企业大数据岗位的主要工作任务；企业大数据岗位的职业发展路径。2调研结果2.1行业调研2.1.1国家政
11、策自2015年国务院制定“互联网+”行动计划以来，我国政府制定了一系列指导及规划政策促进大数据发展。2015年从3月至7月，国务院先后出台了多项与大数据密切相关的政策文件。大数据产业发展、行业推广、应用基础、安全管理等重要环节的宏观政策环境已经基本形成。（1）2015年3月，国务院关于积极推进“互联网+”行动的指导意见（国发201540号）（2）2015年4月，创新投资管理方式建立协同监管机制的若干意见（国发201512号）（3）2015年5月，工信部将编制实施软件和大数据产业“十三五”规划（第十九届中国国际软件博览会开幕式致辞）（4）2015年6月，工信部提出要加快推进云计算与大数据标准体系
12、建设（第七届云计算大会）（5）2015年7月，国务院办公厅关于运用大数据加强对市场主题服务和监管的若干意见（国办发（2015）51号）（6）2015年8月，促进大数据发展行动纲要（国发（2015）50号）2.1.2行业现状改革开放三十多年，中国走过了美国等资本主义国家上百年才走完的发展道路。通过传统互联网、个人计算机、移动互联网竺信息技术提供的支撑，加速了我国经济和社会发展的速度。中国的现在及未来的发展，也将依靠层出不穷新的信息技术，所以我国各级政府一直以来对新的信息技术应用给与了充分的认识。市场规模快速增长。十二五以来，我国大数据产业从无到有，全国各地发展大数据积极性较高，行业应用得到快速推
13、广，市场规模增速明显。易观国际数据显示，2011-2014年，我国大数据市场规模分别为37.4亿元、47.3亿元、59亿元和75.7亿元，年平均复合增长约为27%。易观国际同时预测，2015、2016年我国大数据市场规模将保持约30%的增长速度，在十二五末市场规模接近100亿元。我国已经初步形成了由互联网企业（以百度、阿里、腾讯为代表）、传统IT厂商（以华为、联想、浪潮、曙光、用友等为代表）、大数据企业（以亿赞普、拓尔思、海量数据、九次方等为代表）共同组成的市场供给关系，但各环节发展水平不均衡，在大数据产业链高端环节缺少成熟的产品和服务，面向海量数据的存储和计算服务较多，而前端环节数据采集和预
14、处理，后端环节数据挖掘分析和可视化，及大数据整体解决方案等产品和服务较为匮乏。2.1.3行业前景大数据经过前几年的概念热炒之后，逐步走过了探索阶段、市场启动阶段，当前已经在接受度、技术、应用等各个方面趋于成熟，开始步入产业的快速发展阶段。大数据巨大的应用价值带动了大数据行业的迅速发展，行业规模增长迅速。截至 2014 年，全球大数据市场规模已经成长到 300 亿美元的空间，预测到2017 年全球大数据技术和服务市场的2018 年的复合年增长率将达到 26.4%，规模达到 415 亿美元，是整个 IT 市场增幅的 6 倍。大数据市场规模在 2020 年有望达到 611.6 亿美元，符合年增长率将
15、达到 26%。中国大数据产业起步晚，发展速度快。物联网、移动互联网的迅速发展，使数据产生速度加快、规模加大，迫切需要运用大数据手段进行分析处理，提炼其中的有效信息。 2014 年，中国大数据市场规模达到 767 亿元，同比增长 27.8%。预计到 2020 年，中国大数据产业规模将达到 8228.81 亿元。 2015-2017 年复合增长率为 51.5%。2014 年，中国大数据应用市场规模为 80.54 亿元，同比增长 3.2%，预计2015 年市场规模将增长 37.3%，至 110.56 亿元，预计到 2020 年，中国大数据应用市场规模将增长至 5019.58亿元。2015-2017
16、年复合增速为87.8% 。全球大数据市场结构从垄断竞争向完全竞争格局演化。2014 年，企业数量迅速增多，产品和服务的差异度增大，技术门槛逐步降低，市场竞争越发激烈。全球大数据市场中，行业解决方案、计算分析服务、存储服务、数据库服务和大数据应用为市场份额排名最靠前的细分市场，分别占据35.4%、17.3%、14.7%、12.5%和7.9%的市场份额。云服务的市场份额为6.3%，基础软件占据3.8%的市场份额，网络服务仅占据了2%的市场份额。2.2就业前景2.2.1企业对大数据人才需求激增，复合型人才需求更甚WANTED Analytics公司在对过去12个月美国就业市场“大数据”相关岗位的分析
17、中发现：就岗位数量而言，需要“大数据”技能的岗位空缺呈现高速增长，如下图所示，其中“大数据”解决方案的销售人员、计算机系统分析师、管理分析师、IT项目经理、和信息安全分析师岗位的增幅都在100%以上。这一增长趋势也将延续至2016年。而就招聘企业而言，易安信、IBM、思科、甲骨文在2015年招聘的“大数据”人才最多。其他前十的企业信息如下：我国工信部数据统计也显示，未来几年将是我国大数据产业人才需求迅猛增长的时期，人才缺口将达百万。其主要原因有：1、大数据产业市场规模快速增长，人才需求数量激增。2、相关大数据企业加大对核心技术的投入，提高对客户的服务，无论从技术层面，运营商层面还是集成与服务提
18、供层面，人才需求巨大。3、随着大数据新市场、新业务、新应用的不断出现，国内外各大知名IT与CT企业加速占据国内大数据产业高地，在全国加速建立分公司和研发中心，人力需求迅猛。4、大数据产业已覆盖政府、金融、交通、企业、教育、医疗、信息消费等各应用领域，并且与通信、物联网、互联网产业相融合，复合人才需求加剧。大数据人才匮乏已成为全国大数据企业目前面临的通病，其中以中西部地区最甚。现在大数据高、中、低三档人才均存在人才短缺问题，其中技术、研发类人才难找，复合型大数据应用人才更加稀少。与信息技术其他细分领域人才相比，大数据产业对人才的复合型能力要求更高，不仅要具备数学、统计学、机器学习等基础知识，拥有
19、数据分析和数据挖掘能力，还要拥有大数据思维，懂得具体业务领域。2.2.2大数据人才供给严重不足作为新兴产业的大数据普遍虽受到地方政府高度重视，一些中西部省市更是希望分得大数据产业发展的红利，但目前大数据复合型人才严重匮乏、人才培养机制不足、产业“造血”能力薄弱等问题突出。业内人士认为，大数据人才建设亟待政府、产业界和高校的联合培养，人才培育机制需要创新。国内高校对于大数据人才培养仅仅处于探索和起步阶段，大数据对口专业人才供给尚不能满足当前大数据产业发展的需要。专业人才供给缺乏系统性和完整性，供给结构不均衡，人才供给多定位于高学历、研发性的岗位需求，技能型、应用型人才供给偏弱，造成产业链的人才供
20、给存在严重短板。据信息技术研究与顾问公司Gartner预测，到2016年，大数据将为全球带来440万个就业岗位，但拥有大数据技能的人才短缺，只有三分之一岗位可以招到胜任的人才。由于我国大数据应用起步相对较晚，教育和职业培训尚不能很好的满足行业发展需求，目前缺口已经超过100万人。2.3就业岗位及能力要求分析2.3.1就业岗位通过对阿里云官方合作伙伴、服务提供商，及用户企业的走访以及汇总数据分析，挑选了一些单位的岗位设置情况如表所示：企业名称岗位名称江苏中楚电子科技有限公司大数据开发工程师北京科莱特信息技术有限公司大数据研究数据库管理员数据分析数据库工程师数据运营初级数据分析师数据库维护上海梦创
21、软件科技有限公司大数据底层研发工程师江苏达科信息科技有限公司大数据技术支持工程师数据运维工程师数据应用工程师江苏中兴华易科技发展有限公司Hadoop大数据开发工程师数据库工程师江苏欣网视讯软件技术有限公司大数据开发工程师大数据产品经理大数据项目经理大数据算法工程师数据库开发工程师大数据JAVA技术经理江苏苏源高科技有限公司大数据开发工程师数据库管理员南京南恒软件科技有限公司大数据开发工程师大数据架构师浙江立元通信技术股份有限公司大数据开发工程师江苏运时数据软件股份有限公司软件工程师（大数据）通过智联招聘对北京、上海等地区信息技术相关企业对大数据人才精准需求情况统计，2016年10月份前三周对大
22、数据人才的招聘信息发布次数为：北京5426条、上海5144条、广州2403条、深圳2564条、南京1091条、武汉1350条。主要招聘的职位有大数据开发工程师、大数据架构师、大数据分析工程师、大数据咨询顾问、大数据统计工程师、大数据运营经理、大数据挖掘与处理专员、大数据存储工程师等等。综合分析大量的调研数据，得出适用于高校的大数据相关的岗位关系图如下图所示：根据大数据岗位的定位，针对高职学生特点，适合于高职毕业生的岗位包含大数据研发工程师、大数据运维工程师、大数据运营专员、大数据分析工程师、大数据处理工程师等岗位。这些岗位及工作内容、能力要求，汇总如下表：岗位工作内容技能要求大数据助理工程师1
23、、在项目经理指导下分析业务需求，确定开发的技术架构和技术路线；2、完成相应模块软件的设计、开发、编程、测试任务；3、负责大数据数据分析和挖掘平台的规划、开发、运营和优化；4、根据项目设计开发数据模型、数据挖掘和处理算法；5、通过数据探索和模型的输出进行分析，为业务部门的工作开展提供数据支持；6、整合外部的第三方数据并生成动态数据库，最终为企业决策提供清晰、准确的数据支撑。1、对于大数据理论、行业应用有深刻认识与研究，了解大数据技术，如Hadoop、Spark、storm；2、能够依据业务类型快速进行产品分析设计，对产品提出系统改进建议；4、具备需求调研、产品策划、原型设计、数据分析等产品相关工
24、作能力；5、精通Office、Visio、Axure、MindManager等工具软件的使用，至少熟练一种数据库操作，如MYSQL、SQLSERVER等；6、较强的归纳总结能力，较强的逻辑分析推理能力、沟通表达能力。数据分析工程师1、运用算法来解决分析问题，并且从事数据挖掘工作，能够让数据道出真相;2、帮助开发数据产品，推动数据解决方案的不断更新；3、运用算法解决分析问题，并且从事数据挖掘工作；4、为公司项目提供数据支持、数据决策分析、支持公司战略决策的数据分析。1、对基于Hadoop、Spark的数据分析和处理有一定的经验；2、熟悉一门以上开发语言(Python、Scale、Java)、熟悉
25、主流MYSQL、oracle数据库，对主流分布式存储和运算有一定的了解和项目经验；3、熟练使用SPSS、SAS或其它数据挖掘软件，具备一定数据建模和分析理论知识和经验，熟悉常用数据结构和数据处理算法。大数据处理工程师1、熟悉智能推荐各类算法，并参与公司平台建设和应用；2、负责Hadoop、HBase等大数据平台的规划、部署、建设、维护、优化等工作；3、根据需求将数据在非关系型和关系型数据库之间转化；4、负责与外围各业务数据对接，利用ETL工具将数据导入数据仓库；5、开发各种Hadoop大数据自动化运维与监控工具；6、负责利用大数据处理对海量数据进行分析、建模、展现和应用挖掘数据的价值。1、精通
26、SQL，熟悉Hadoop、Hive、Spark、Hadoop、Hbase等大数据主流技术平台及开源框架，具有相关系统的部署、运维、开发经验；2、具有扎实数据结构和算法功底，掌握Java/Python等至少一门高级编程语言；3、熟悉Shell和Linux开发环境，拥有Java、Python开发经验者优先；4、熟练掌握MySQL等关系型数据库；5、精通java后台程序设计，有实际系统的问题排查与调优经验；6、对数据结构、算法有深刻理解，有hadoop等系统源代码阅读经验。大数据运维工程师1、参与项目技术平台安装部署、日常运行维护与故障处理、大数据组件补丁升级管理；2、平台的自动化部署，运维，监控，
27、告警处理，收集Hadoop的各项metrics指标，确保集群的正常运行；3、能够针对hadoop生态系统的批量部署场景进行运维调优，完善运维工具，合理使用，监控报警、提高数据平台品质；4、负责任务调度平台配置及运维管理，协助管理大数据平台运维工作。1、掌握数据仓库理论知识，具有较强的数据仓库模型设计和ETL设计能力；2、熟悉hadoop平台的运维，调优，保障线上集群的稳定可靠；3、能熟练编写linux下的shell脚本，能开发相关安全管理工具；4、对运维的网络和存储能有一定理解；5、有spark、HBase、及Hive等平台的运维计算经验；6、科学合理的选择阿里云相关服务，快速部署相关服务，利
28、用开源软件搭建云服务，并进行相关测试。大数据可视化工程师1、负责大数据系统的设计和开发工作，如个性化推荐系统、精准营销、用户画像等数据产品的设计和开发工作；2、配合需求人员，完成功能模块，支撑日常业务数据需求，负责系统优化，问题跟进并及时解决；3、负责收集到的高质量数据中，利用图形化的工具及手段的应用，一目了然地揭示数据中复杂信息，帮助企业更好的进行大数据应用开发，发现大数据背后巨大财富。1、有较强编程能力，熟悉C/C和python，能够设计搭建大数据平台；2、较强逻辑思维能力及软件、算法实现能力，进行抽取、清洗、加工等数据处理；3、能够自主设计基于云架构的数据仓库模型，基于大数据平台进行研发
29、、运维、管理等；4、熟悉数据库，应用服务器，和相关开发语言。有良好的数据库设计能力和sql编写能力。有hadoop、storm、spark、zookeeper等相关开源项目。大数据开发工程师1、负责集群的日常运作、系统的监测和配置、Hadoop与其他系统的集成；2、基于MySQL/Redis/HBafka/Hadoop/hive搭建、开发大数据分析平台的后台服务，支持数据接入、落地、统计、分析业务；3、构建基于spark/storm的实时数据处理平台，支撑上层业务使用，如：数据监控、日报展现、统计分析、业务方调用等；4、构建基于hive的即席查询数据统计分析平台；5、负责数据平台的设计、开发、
30、维护与优化，不断创新，满足上层数据运营体系各项需求。1、熟悉Linux的Shell命令，灵活运用Shell做文本处理和系统操作；2、熟悉分布式计算各种范式，分布式算法实现，有较好的分布式架构设计能力；3、能够使用SQL操作复杂的数据模型并有SQL优化的经验；4、熟练Golang，Scala，具有丰富海量数据ETL加工处理经验，从事分布式数据存储与计算平台应用开发；5、能熟练搭建hadoop集群环境，熟悉hdfs文件系统，熟练编写MapReduce的优先考虑；6、熟悉hadoop、hbase、hive的原理并具备管理，配置，运维；7、掌握Scala语言，至少精通Python、Perl、Bash shell脚本语言中的一种；8、熟悉分布系统设计范型，有大规模系统设计和工程实现经验。大数据架构工程师1、负责公司数据中心整体架构设计和研发，负责大数据平台的架构选型、设计及搭建工作。2、负责海量数据存储与处理、高性能计算项目的架构设计，撰写相关文档。3、负责实时数据收集、监控，灵活的业务数据报表，及挖掘和模型工作。4、参与企业级大数据产品和应用规划，研究跟进大数据架构领域新技术；5、制定大数据产品总体架构，攻克技术难关和主导关键技术决策。1、熟悉Linux操作系统
