在大数据分析研发中一般一个项目需要多长时间呢

来源：蜘蛛抓取(WebSpider) 时间：2018-04-20 06:10 标签： 大数据分析

基于Hadoop离线大数据分析平台项目实战


某购物电商网站数据分析平台，分为收集数据、数据分析和数据展示三大层面。其中数据分析主要依据大数据Hadoop生态系统常用组件进行处理，此项目真实的展现了大数据在企业中实际应用。
（1）文件收集框架 Flume
①Flume 设计架构、原理（三大组件）
②Flume 初步使用，实时采集数据
③实际案例：使用Flume监控数据，实时收集存储HDFS中

（2）大数据分析平台架构


③大数据平台技术选型和搭建配置测试

（3）数据分析平台七大业务分析


①具体的七大业务分析，针对不同的数据
②将数据收到 HDFS/Hive/HBase，使用MapReduce和Hive离线分析，其中涉及地域分析、用户相关信息分析及外链分析等。
④数据处理时，针对不同问题如何优化调整等
第1章：大数据离线项目：企业大数据项目业务及设计
1.大数据项目的开发流程
2.大数据的应用领域（一）
3.大数据的应用领域（二）
4.大数据分析平台（一）
5.大数据分析平台（二）
6.数据量及集群规模的规划（一）
7.数据量及集群规模的规划（二）
8.企业常见数据分析需求（一）
9.企业常见数据分析需求（二）

第2章：大数据离线项目：数据采集框架Flume

第3章：大数据离线项目：Nginx+Flume实现数据采集


22.项目技术架构介绍
24.项目中框架的技术选型
29.SDK的设计思路及重要事件类型的介绍
31.Nginx中配置自定义收集方案
33.Flume的负载均衡及故障转移及美团的使用案例

第4章：大数据离线项目：ETL的业务分析及实现（一）


34.Nginx日志分割脚本的实现（一）
35.Nginx日志分割脚本的实现（二）
36.Nginx日志上传脚本的实现
38.数据分析项目的导入
39.日志解析类的实现（一）
40.日志解析类的实现（二）
41.日志解析类的实现（三）
42.日志解析类的实现（四）
43.ETL具体代码流程分析

第5章：大数据离线项目：ETL的业务分析及实现（二）

第6章：大数据离线项目：数据分析的思路及代码实现


52.新增访客的统计分析实现思路（一）
53.新增访客的统计分析实现思路（二）
55.Hbase中值和字段的过滤（一）
56.Hbase中值和字段的过滤（二）
57.Hbase中值和字段的过滤（三）
58.新增用户统计Map代码的实现（一）
59.新增用户统计Map代码的实现（二）
60.新增用户统计Map代码的实现（三）

第7章：大数据离线项目：Hourly分析及可视化展示


64.新增用户统计代码的讲解（一）
65.新增用户统计代码的讲解（二）
70.使用zeus实现项目任务调度（一）
71.使用zeus实现项目任务调度（二）
72.使用zeus实现项目任务调度（三）
73.使用zeus实现项目任务调度（四）
74.数据展示层及Highcharts的使用讲解（一）
75.数据展示层及Highcharts的使用讲解（二）

hadoop课程整合推荐：

跟轩宇老师学习大数据基础框架Hadoop

Hadoop架构设计与源码分析

Hadoop实战+超大集群调优

2017最新高清大数据实时分析系统Storm流计算之项目实战

无锡市工程建设项目中标候选人公示
    根据工程招标投标的有关法律、法规、规章和该工程招标文件的规定，无锡地铁集团有限公司的无锡市消防大数据分析与应用平台开发与实施项目的评标工作已经结束，中标候选人已经确定。本项目采用综合评估的评标办法，现将中标候选人公示如下：
无锡曙光云计算有限公司 江苏晓山信息产业股份有限公司 江苏长宏邮电设备实业有限公司
企业业绩(包含项目名称、项目地点、获奖情况等内容)
项目负责人业绩(包含项目名称、项目地点、获奖情况等内容)




无锡曙光云计算有限公司
江苏晓山信息产业股份有限公司
江苏长宏邮电设备实业有限公司
江苏蓝深远望科技股份有限公司

    6、所有投标人及其拟派项目负责人类似工程业绩、奖项、投标报价、投标报价合理性等得分情况
无锡曙光云计算有限公司
江苏晓山信息产业股份有限公司
江苏长宏邮电设备实业有限公司
江苏蓝深远望科技股份有限公司

    本中标候选人公示期自 2017年7月10日 起，至  2017年7月13日  止。投标人或者其他利害关系人对上述评标结果有异议的，应当在公示期间向招标人提出。公示期满对评标结果没有异议的，招标人将确定第一中标候选人为中标人并签发中标通知书。
招标人：无锡地铁集团有限公司
招标代理机构：上海机电设备招标有限公司

本篇文章共有1页 当前为第 1 页

我要回帖

更多关于 大数据分析 的文章

 

随机推荐