通过本专业2年全面系统的学习，毕业后可以掌握配置、部署、运维和保护公司和组织机构部署CDH所要求的Apache—Hadoop集群方面的专业技术；学完毕业后具备实践动手能力的，满足企业大数据应用技术岗位需求。

1.Linux基础和分布式集群技术前端

学完此阶段可掌握的核心能力：java

熟练使用Linux，熟练安装Linux上的软件，了解熟悉负载均衡、高可靠等集群相关概念，搭建互联网高并发、高可靠的服务架构；linux

学完此阶段可解决的现实问题：nginx

搭建负载均衡、高可靠的服务器集群，能够增大网站的并发访问量，保证服务不间断地对外服务；程序员

学完此阶段可拥有的市场价值：web

具有初级程序员必要具有的Linux服务器运维能力。spring

在这里仍是要推荐下我本身建的大数据学习交流群:1九九427210，群里都是学大数据开发的，若是你正在学习大数据 ，小编欢迎你加入,你们都是软件开发党，不按期分享干货（只有大数据软件开发相关的），包括我本身整理的一份最新的大数据进阶资料和高级开发教程，欢迎进阶中和进想深刻大数据的小伙伴加入。

在大数据领域，使用最多的操做系统就是Linux系列，而且几乎都是分布式集群。该课程为大数据的基础课程，主要介绍Linux操做系统、Linux经常使用命令、Linux经常使用软件安装、Linux网络、防火墙、Shell编程等。编程

2.案例：搭建互联网高并发、高可靠的服务架构。

2.离线计算系统课程阶段

1. 离线计算系统课程阶段

学完此阶段可掌握的核心能力：

一、经过对大数据技术产生的背景和行业应用案例了解hadoop的做用；二、掌握hadoop底层分布式文件系统HDFS的原理、操做和应用开发；三、掌握MAPREDUCE分布式运算系统的工做原理和分布式分析应用开发；四、掌握HIVE数据仓库工具的工做原理及应用开发。

学完此阶段可解决的现实问题：

一、熟练搭建海量数据离线计算平台；二、根据具体业务场景设计、实现海量数据存储方案；三、根据具体数据分析需求实现基于mapreduce的分布式运算程序；

学完此阶段可拥有的市场价值：

具有企业数据部初级应用开发人员的能力

什么是hadoop、hadoop产生背景、hadoop在大数据云计算中的位置和关系、国内hadoop的就业状况分析及课程大纲介绍

国内外hadoop应用案例介绍

分布式系统概述、hadoop生态圈及各组成部分的简介

hive基本介绍、hive的使用、数据仓库基本知识

1.1.3 数据分析流程案例

web点击流日志数据挖掘的需求分析、数据来源、处理流程、数据分析结果导出、数据展示

集群简介、服务器介绍、网络环境设置、服务器系统环境设置、JDK环境安装、hadoop集群安装部署、集群启动、集群状态测试

HIVE的配置安装、HIVE启动、HIVE使用测试

什么是分布式文件系统、HDFS的设计目标、HDFS与其余分布式存储系统的优劣势比较、HDFS的适用场景

HDFS命令行客户端启动、HDFS命令行客户端的基本操做、命令行客户端支持的经常使用命令、经常使用参数介绍

HDFS系统的模块架构、HDFS写数据流程、HDFS读数据流程

NAMENODE工做机制、元数据存储机制、元数据手动查看、元数据checkpoint机制、NAMENODE故障恢复、DATANODE工做机制、DATANODE动态增减、全局数据负载均衡

搭建开发环境、获取api中的客户端对象、HDFS的java客户端所具有的经常使用功能、HDFS客户端对文件的经常使用操做实现、利用HDFS的JAVA客户端开发数据采集和存储系统

经过以上各组件的详解，深入理解MAPREDUCE的核心运行机制，从而具有灵活应对各类复杂应用场景的能力

MAPREDUCE实战编程案例：经过一个实战案例来熟悉复杂MAPREDUCE程序的开发。该程序是从nginx服务器产生的访问服务器中计算出每一个访客的访问次数及每次访问的时长。原始数据样例以下：

经过一系列的MAPREDUCE程序——清洗、过滤、访问次数及时间分析，最终计算出需求所要的结果，用于支撑页面展示：

HIVE应用场景、HIVE内部架构、HIVE与hadoop的关系、HIVE与传统数据库对比、HIVE的数据存储机制、HIVE的运算执行机制

HIVE中的DDL操做、HIVE中的DML操做、在HIVE中如何实现高效的JOIN查询、HIVE的内置函数应用、HIVE shell的高级使用方式、HIVE经常使用参数配置、HIVE自定义函数和TRANSFORM的使用技巧、HIVE UDF开发实例

HIVE执行过程分析及优化策略、HIVE在实战中的最佳实践案例、HIVE优化分类详解、HIVE实战案例--数据ETL、HIVE实战案例--用户访问时长统计

HIVE实战案例--级联求和报表实例：

学完此阶段可掌握的核心能力：

一、经过对数据仓库知识的增强初步掌握数据仓库的核心概念和设计流程;二、经过对HADOOP生态圈关键辅助工具的学习掌握hadoop分析系统的整合能力;三、经过电商系统点击流日志数据挖掘系统实战项目，掌握hadoop离线数据挖掘系统从数据采集、入库、分析及报表展示的整套流程

学完此阶段可解决的现实问题：

一、可根据企业具体场景设计海量数据分析系统的通用架构二、根据具体场景的特色有针对性地调整数据分析各环节的技术选型;三、根据具体需求搭建起整套离线数据分析系统;四、简单数据仓库模型的设计和架构五、各环节具体功能模块的开发实现

学完此阶段可拥有的市场价值：

具有企业数据部中高级应用开发和初级架构师能力

2.1.1 数据仓库及数据模型入门

什么是数据仓库、数据仓库的意义、数据仓库核心概念、数据仓库的体系结构

创建数据仓库的步骤、数据的抽取、数据的转换、数据的加载、什么是数据模型、数据模型的常见类型、如何设计数据模型、如何选择数据建模的架构

典型数据模型——星型建模实例

2.1.3 数据仓库建模样例

业务建模、领域建模、逻辑建模、物理建模

web点击流日志分析系统数据仓库设计实战：

经过对数据特色和业务需求的分析，关系梳理，设计出一个主题明确、层次合理的数据模型

FLUME日志采集框架介绍、FLUME工做机制、FLUME核心组件、FLUME参数配置说明、FLUME采集nginx日志实战案例

任务调度系统概念介绍、经常使用任务调度工具比较、OOZIE介绍、OOZIE核心概念、OOZIE的配置说明、OOIZE实现mapreduce/hive等任务调度实战案例

数据导出概念介绍、SQOOP基础知识、SQOOP原理及配置说明、SQOOP数据导入实战、SQOOP数据导出实战、SQOOP批量做业操做

2.3 web点击流日志分析系统实战项目

1. 在PC时代，营销的核心是购买，在移动互联网时代，其核心是如何实现用户个性化互动，对用户传播更为精准化的内容，而实现这一核心的基础就是对数据的管理和分析——数据驱动型商业模型。

2. 各种互联网服务产品(如网站、APP)均可以经过前端技术获取用户的详细行为数据(如访问的页面，点击的区域、登录的频次、注册行为、购买的行为等)，将这些点击流日志数据与后台商业数据综合起来，就能够挖掘对公司运营决策意义非凡的商业价值。

3. 本项目则是一个用大数据技术平台实现的点击流日志分析数据挖掘系统，项目内容涵盖一个典型数据挖掘系统中，包括需求分析、数据采集、数据存储管理、数据清洗、数据仓库设计、ETL、业务模型统计分析、数据可视化的所有流程。

什么是点击流日志、点击流日志的商业价值、点击流日志分析需求

业务模型指标体系设计——流量分析、来源分析、受访分析、访客分析、转化率分析

2.3.3 系统设计及开发

2. 数据采集设计及开发——数据格式、数据内容分析、数据生成规律、采集系统技术选型解析、FLUME采集系统实现

3. 数据存储设计及开发——存储技术选型、存储业务流程解析、存储目录规划及文件命名规则、小文件合并实现

4. 数据统计设计及开发——数据预处理、数据加载、原始数据表的建立、数据入库、数据ETL

5. 报表统计设计——数据模型设计、事实表设计、维度表梳理

6. 业务指标设计及开发——PV统计(时间维度、终端维度、地域维度)、来访次数统计(时间维度、地域维度、终端维度)、独立访客统计(时间维度、终端维度、地域维度)、受访页面统计(时间维度、栏目维度)、页面热点图、转化率分析、来源关键词分析、来源搜索引擎分析、来源广告推广分析

2.3.4 任务调度系统设计实现

任务调度单元实现、各环节任务运行频次及依赖关系梳理、工做流设计及实现、工做流定义配置上传部署、工做流启动即状态监控

2.3.5 数据可视化——结果报表展示

2. 报表展示系统技术选型：

3. web展示程序架构搭建，使用maven构建项目工程

4. web展示程序页面设计开发：原型页面设计、js代码开发

5. 最终实现如下数据可视化效果：

(1)流量概况可视化效果：

(2)来源地域分析可视化效果：

(3)来源类型分析可视化效果：

3.Storm实时计算部分阶段

实时课程分为两个部分：流式计算核心技术和流式计算计算案例实战。

流式计算核心技术主要分为两个核心技术点：Storm和Kafka，学完此阶段可以掌握Storm开发及底层原理、Kafka的开发及底层原理、Kafka与Storm集成使用。具有开发基于storm实时计算程序的技术能力。

学完此阶段可掌握的核心能力：

(1)、理解实时计算及应用场景

(2)、掌握Storm程序的开发及底层原理、掌握Kafka消息队列的开发及底层原理

学完此阶段可解决的现实问题：

具有开发基于storm的实时计算程序的能力

学完此阶段可拥有的市场价值：

具有实时计算开发的技术能力、但理解企业业务的能力不足

1.一、流式计算通常结构

2011年在海量数据处理领域，Hadoop是人们津津乐道的技术，Hadoop不只能够用来存储海量数据，还以用来计算海量数据。由于其高吞吐、高可靠等特色，不少互联网公司都已经使用Hadoop来构建数据仓库，高频使用并促进了Hadoop生态圈的各项技术的发展。通常来说，根据业务需求，数据的处理能够分为离线处理和实时处理，在离线处理方面Hadoop提供了很好的解决方案，可是针对海量数据的实时处理却一直没有比较好的解决方案。就在人们翘首以待的时间节点，storm横空出世，与生俱来的分布式、高可靠、高吞吐的特性，横扫市面上的一些流式计算框架，渐渐的成为了流式计算的首选框架。若是庞麦郎在的话，他必定会说，这就是我要的滑板鞋!

上图是流式分析的通常架构图，抽象出四个步骤就是数据采集、数据缓冲、数据处理、数据输出。通常状况下，咱们采用Flume+kafka+Storm+Redis的结构来进行流式数据分析。实时部分的课程主要是针对Kafka、Storm进行学习

1.二、流式计算能够用来干什么

一淘-实时分析系统：实时分析用户的属性，并反馈给搜索引擎。最初，用户属性分析是经过天天在云梯上定时运行的MR job来完成的。为了知足实时性的要求，但愿可以实时分析用户的行为日志，将最新的用户属性反馈给搜索引擎，可以为用户展示最贴近其当前需求的结果。

携程-网站性能监控：实时分析系统监控携程网的网站性能。利用HTML5提供的performance标准得到可用的指标，并记录日志。Storm集群实时分析日志和入库。使用DRPC聚合成报表，经过历史数据对比等判断规则，触发预警事件。

一个游戏新版本上线，有一个实时分析系统，收集游戏中的数据，运营或者开发者能够在上线后几秒钟获得持续不断更新的游戏监控报告和分析结果，而后立刻针对游戏的参数和平衡性进行调整。这样就可以大大缩短游戏迭代周期，增强游戏的生命力。

实时计算在腾讯的运用：精准推荐(广点通广告推荐、新闻推荐、视频推荐、游戏道具推荐);实时分析(微信运营数据门户、效果统计、订单画像分析);实时监控(实时监控平台、游戏内接口调用)

为了更加精准投放广告，阿里妈妈后台计算引擎须要维护每一个用户的兴趣点(理想状态是，你对什么感兴趣，就向你投放哪类广告)。用户兴趣主要基于用户的历史行为、用户的实时查询、用户的实时点击、用户的地理信息而得，其中实时查询、实时点击等用户行为都是实时数据。考虑到系统的实时性，阿里妈妈使用Storm维护用户兴趣数据，并在此基础上进行受众定向的广告投放。

linux环境准备、zookeeper集群搭建、Storm集群搭建、Storm配置文件配置项讲解、集群搭建常见问题解决。

根据蚂蚁金服提供的最新数据，今年双十一的交易峰值为8.59万笔/秒，是去年3.85万笔/秒的2.23倍。这一数据也超过了6万笔/秒的预估。如何实时的计算订单金额，让公司领导层看到呢?

(图为双十一支付宝成交金额)

(图为Kafka消息队列原理)

实战案例部分主要有三个企业实战案列，分别是基于点击流的日志分析系统、基于系统日志的监控告警系统、基于订单系统的交易风控系统，三个案列是企业中的典型项目。学完此阶段可以独立根据企业的业务性质开发相关的storm程序。

学完此阶段可掌握的核心能力：

一、掌握企业核心业务需求

二、掌握实时系统常见的开发流程及运营经验

学完此阶段可解决的现实问题：

能够独立开发storm程序来知足业务需求

学完此阶段可拥有的市场价值：

熟练学习和掌握后，可知足企业开发的初级需求，根据市场反馈数据看，薪资广泛在 元/月。

2.一、案例：流量日志分析

流量日志分析之漏斗模型：大型电商网站，上亿规模的用户，千万级别的活跃用户，如何评估一个商品专题页面的效果好很差呢?好比：浏览次数、加入购物车次数、下单次数、支付次数、完成。

(图为日志分析漏斗模型-数据部必备)

流量日志分析之基础数据分析：电商网上商品数量在千万级别，店铺数量在百万级别，如何实时的计算一个每一个商品页的访问数、用户数、来源信息等基础信息呢?如何实时的计算每一个店铺的访问数、用户数、来源信息等基础数据呢?

(图为页面浏览分析-数据部必备)

2.二、案例：统一监控告警系统

随着公司业务发展，支撑公司业务的各类系统愈来愈多，为了保证公司的业务正常发展，急须要对这些线上系统的运行进行监控，作到问题的及时发现和处理，最大程度减小对业务的影响。不一样业务的会有几十上百台服务器去支撑，大型企业多是成千上万台服务器，那么每台服务器的硬件状态、业务应用状态如何实时的监控，作到及时发现，快速解决问题呢?

(图为企业产生日志的系统清单)

统一监控系统触发的短信告警

统一监控系统触发的邮件告警

2.三、案例：交易风控系统

电子商务是以互联网络为平台的贸易新模式，它的一个最大特色是强调参加交易的各方和所合做的伙伴都要经过Internet密切结合起来，共同从事在网络环境下的商业电子化应用。用户信息容易受到计算机病毒、黑客的攻击，商业信息和数据易于搭截侦听、口令试探和窃取，为了防止用户信息异常给商家和用户带来没必要要的损失，企业指望针对用户的订单进行分析，对触发规则的订单进行风险预警，在必要状况下进行拦截及锁定订单。

学完此阶段可掌握的核心能力：

1.掌握Scala函数式编程特性，熟练使用Scala开发程序，能够看懂其余用Scala编写源码。

2.搭建Spark集群、使用Scala编写Spark计算程序，熟练掌握Spark原理，能够阅读Spark源码。

3.理解DataFrame和RDD之间的关系，熟练使用DataFrame的API，熟练使用Spark SQL处理结构化数据，经过Spark SQL对接各类数据源，并将处理后结果写回到存储介质中。

学完此阶段可解决的现实问题：

熟练使用Scala快速开发Spark大数据应用，经过计算分析大量数据，挖掘出其中有价值的数据，为企业提供决策依据。

学完此阶段可拥有的市场价值：

学习完spark并掌握其内容，将具有中级大数据工程师能力，薪水能够达到 20K~25K。

介绍：Scala是一门集面向对象和函数式编程与一身的编程语言，其强大的表达能力、优雅的API、高效的性能等优势受到愈来愈多程序员的青睐。Spark底层就是用Scala语言编写，若是想完全掌握Spark，就必须学好Scala。

案例：Scala编程实战，基于Akka框架，编写一个简单的分布式RPC通讯框架

2.使用Spark处理离线数据

介绍：Spark是基于内存计算的大数据并行计算框架，具备高容错性和高可伸缩性，能够在大量廉价硬件之上部署大规模集群，在同等条件下要比Hadoop快10到100倍。

介绍：Spark SQL的前身是Shark，专门用来处理结构化的数据，相似Hive，是将SQL转换成一系列RDD任务提交到Spark集群中运行，因为是在内存中完成计算，要比hive的性能高不少，而且简化了开发Spark程序的难度同时提升了开发效率。

介绍：该项目使用了Spark SQL和Spark Streaming对游戏整个生命周期产生的数据进行了分析，从玩家第一次登陆游戏到天天产生的游戏日志，经过大量的数据来分析该游戏的运营状况和玩家的各类行为：如活跃用户、用户留存、充值比例、游戏收人、外挂分析等。

经过玩家登陆游戏产生的数据分析一天以内各个时间段进入游戏的状况

经过玩家登录游戏产生的数据分析玩家在全国地区的分步状况，调整广告投放策略

用户留存指标能够分析游戏对玩家的吸引力，分析用户流失缘由

用户等级信息能够分析玩家等等级分布状况、调整装备爆率和游戏难度

经过上面游戏各个数据指标的分析，可让游戏运维者了解游戏的运维状况，为运维者提供各类个性化的调整策略，从而保证游戏健康、稳定的运营。