加米谷大数据开发课程明细

从理论到实训代码到云端实操环境到项目实战，手把手教您从0掌握大数据技术，带您走进大数据世界。

第一阶段（Java设计与编程思想）

Java基础                 1、Java是什么类型语言，Java语言的编译、解释、执行过程                 2、Java运行环境的安装和配置                 3、标识符与关键字                 4、基本数据类型                 5、方法初识                 6、运算符与表达式                 7、分支语句                 8、循环语句                 9、Math、Date、Random

Java面向对象                 1、什么是面向对象                 2、类、对象、数组                 3、介绍面向对象多态                 4、抽象类的概念                 5、抽象类的声明语法                 6、抽象类被继承                 7、接口的声明语法                 8、实现接口的实现类                 9、普通类与抽象类思想上的区别                 10、抽象类与接口思想上的区别

Java高级                 1、异常处理                 2、I/O、JavaBean                 3、反射/多线程                 4、网络编程                 5、泛型和集合

数据库与JDBC                 1、安装与介绍                 2、创建数据库与表                 3、表与表之间关系                 4、字段类型/函数/查询语句                 5、存储器/触发器                 6、增删改查                 7、事务并发                 8、操作存储器和触发器

第二阶段（Web前端开发）

HTML基础                 1、Web开发简介                 2、开发环境介绍                 3、html与css编程介绍                 4、JavaScript编程介绍                 5、头部标记/文字格式标记                 6、字体/列表/图像标记                 7、超链接/表格/表单                 8、框架

CSS3                 1、web标准                 2、css语法基础与选择器                 3、css继承与优先级                 4、css编写原则                 5、css属性与浮动                 6、css盒子模型                 7、css定位

JS脚本编程                 1、JavaScript定义                 2、JavaScript特点与核心                 3、JavaScript开发环境                 4、JavaScript基本使用                 5、DOM介绍与节点相关操作                 6、DOM类型与操作                 7、DOM获取表格元素                 8、DOM获取元素样式

事件与JQuery框架                 1、事件介绍与内联模型                 2、脚本模型与事件对象                 3、键盘事件与鼠标事件                 4、JQuery基本语法                 5、JQuery常用选择器                 6、JQuery事件处理                 7、JQuery文档操作

第三阶段（JavaEE进阶）

Web环境配置                 1、Tomcat服务器

JavaWeb开发核心                 1、JSP&Servlet基础                 2、JSP&Servlet高级

SSM框架                 1、SpringIOC                 2、SpringAOP                 3、SpringMVC配置文件详解                 4、OGNL详解                 5、控制器的实现                 6、注解方式实现                 7、文件上传与下载                 8、拦截器详解                 9、表单验证流程详解                                 10、SSM + Jquery + Ajax整合开发

Mysql                 1、数据库基础知识                 2、SQL理论基础和数据类型                 3、DDL、LML、DQL语句                 4、函数和关联查询                 5、子查询、约束、视图                 6、编程存储过程，触发器                 7、Sql查询案例和优化

第四阶段（大数据基础：Linux基础、Maven基础）

Linux系统管理                 1、Linux安装                 2、用户与用户组管理                 3、文件操作                 4、目录操作                 5、RPM安装与卸载                 6、YUM安装与卸载                 7、打包、压缩与解压缩                 8、网络配置(network)                 9、后台运行程序（nohup & ;）

Shell编程设计                 1、Shell是什么                 2、Shell分类                 3、基本语法与环境变量                 4、预定义变量                 5、用户变量                 6、特殊符号使用                 7、逻辑判断与流程控制                 8、正则表达式                 9、模式匹配                 10、Grep使用

Maven部署/配置/仓库                 1、Maven部署                 2、Maven配置                 3、Maven安装目录解析                 4、Maven本地仓库与中央仓库                 5、Maven远程仓库                 6、Maven 私服                 7、如何从Maven远程仓库下载                 8、Maven添加远程仓库                 9、部署至远程仓库                                 10、Maven镜像

Maven POM                 1、Maven核心元素                 2、Maven核心插件/坐标/依赖                 3、Maven依赖范围                 4、Maven传递性依赖                 5、Maven依赖调解/可选依赖/排除依赖                 6、Maven快照及发布版本                 7、Maven聚合与继承                 8、Maven依赖管理与插件管理                 9、Maven反应堆与灵活构建

第五阶段（HDFS分布式文件系统）

HDFS原理剖析                 1、HDFS概念                 2、HDFS内核/读写原理                 3、HDFS数据块                 4、HDFS数据副本的存放策略                 5、HDFS安全模式/负载均衡/机架感应                 6、HDFS名称节点NameNode                 7、HDFS第二名称节点SecondNameNode                 8、HDFS高可用HA/联邦Federation

HDFS 编程实践                 1、HDFS分布式文件读取                 2、HDFS写入剖析/读取剖析组                 3、HDFS一致模型/数据完整性                 4、HDFS压缩/序列化                 5、HDFS基于文件的数据结构                 6、HDFS数据备份/网络拓扑                 7、HDFS集群的构建和安装                 8、HDFS配置管理/环境设置/安全性                 9、文件系统操作Hadoop fs与hdfs dfs

第六阶段+第七阶段+第八阶段（MapReduce分布式计算模型+Yarn分布式资源管理器+Zookeeper分布式协调服务

MapReduce原理剖析                 1、MapReduce产生背景                 2、MapReduce适用场景                 3、MapReduce基本原理                 4、MapReduce作业执行流程                 5、MapReduce基本组件                 6、MapReduce JobTracker                 7、MapReduce TaskTracker

MapReduce实践                 1、MapReduce高级编程应用                 2、MapReduce Combiner                 3、MapReduce Partitioner                 4、MapReduce性能优化技巧                 5、MapReduce案例分析                 6、MapReduce开发实践操作

Yarn原理剖析                 1、Yarn架构设计                 2、Yarn核心原理                 3、Yarn主节点ResourceManager                 4、Yarn从节点NodeManager                 5、Yarn从节点Container                 6、Yarn的Application

Zookeeper原理+实践                 1、Zookeeper 介绍                 2、Zookeeper核心原理                 3、Zookeeper结构                 4、Zookeeper Server                 5、Zookeeper Client程                                 6、Zookeeper访问                 7、Zookeeper常用访问工具

第九阶段+第十阶段（Hbase分布式数据库+Hive分布式数据仓库）

Hbase原理剖析                 1、Hbase存储原理                 2、Hbase列式存储原理                 3、Hbase稀疏存储设计                 4、Hbase KeyValue存储设计                 5、Hbase数据多版本                 6、Hbase Rowkey设计                 7、Hbase 存储无模式设计

Hbase编程实战象                 1、Hbase 访问Shell接口实践                 2、Hbase 访问API接口实践                 3、Hbase 实战训练

Hive原理剖析                 1、Hive介绍                 2、Hive应用场景                 3、Hive架构                 4、Hive运行原理                 5、Hive命名空间                 6、Hive库的位置                 7、Hive数据仓库

Hive实践                 1、Hive创建库                 2、Hive修改库与删除库                 3、Hive普通表与带分区的表                 4、Hive带Bucket的表/外部表/相似表                 5、Hive分区/Bucket管理/向Hive表中装载与插入数据                 6、创建并加载数据到Hive表与导出数据                 7、Hive SelectFrom/Where/GroupBy/Join

第十一阶段+第十二阶段（FlumeNG分布式数据采集系统+Sqoop大数据迁移系统）

FlumeNG原理剖析                 1、FlumeNG概述                 2、FlumeNG部署配置                 3、FlumeNG分布式架构                 4、FlumeNG应用场景                 5、FlumeNG与同类产品的优缺点                 6、FlumeNG工作原理                 7、FlumeNG运行时系统实现的逻辑

FlumeNG实践                 1、FlumeNG指定文件数据作为数据源                 2、FlumeNG监测并读取新增文件数据作为数据源                 3、FlumeNG命令输出作为数据源                 4、FlumeNG监听TCP的端口作为数据源                 5、FlumeNG获取HTTP数据作为数据源                 6、FlumeNG HDFS作为输出源                 7、FlumeNG本地目录作为输出源

Sqoop原理剖析                 1、Sqoop介绍                 2、Sqoop架构原理

Sqoop实践                 1、数据迁入大数据存储                 2、数据迁出大数据存储

第十三阶段+第十四阶段（Scala大数据黄金语言+kafka分布式总线系统）

Scala语法剖析                 1、Scala基础                 2、Scala流程控制                 3、Scala异常处理                 4、Scala数据类型                 5、Scala运算符                 6、Scala函数基础                 7、Scala匿名函数                 8、Scala嵌套函数                 9、Scala递归函数、部分应用函数、柯里函数、高阶函数

Scala应用实践                 1、Scala闭包                 2、Scala对象                 3、Scala特征                 4、Scala模式匹配                 5、Scala隐式转换                 6、Scala Lists                 7、Scala Seqs                 8、Scala Sets                 9、Scala Maps                 10、Scala Tuples、Scala Iterators、Scala Options

Kafka原理剖析                 1、Kafka初识                 2、Kafka主题                 3、Kafka日志                 4、Kafka生产者                 5、Kafka消费者                 6、Kafka消费组                 7、Kafka消息读写原理                 8、Kafka位移管理                 9、Kafka副本机制、分布式、消息传送机制

Kafka实践                 1、Kafka命令工具                 2、Kafka生产API                 3、Kafka消费API                 4、Kafka实战训练

第十五阶段+第十六阶段+第十七阶段（SparkCore大数据计算基石+SparkSQL数据挖掘利器+SparkStreaming流式计算平台）

SparkCore核心原理                 1、SparkCore 基础原理                 2、SparkCore核心代码剖析                 3、SparkCore运行架构                 4、Rdd编程模型                 5、Rdd内存弹性分布式数据集的工作原理和机制                 6、RDD Transform                 7、RDD Action

SparkSQL原理                 1、SparkSQL简介                 2、SparkSQL运行原理                 3、SparkSQL程序开发光速入门                 4、SparkSQL程序开发之数据源                 5、SparkSQL程序开发之DataFrame态                 6、SparkSQL程序开发之DataSet                 7、SparkSQL程序开发之数据类型                 8、SparkSQL实战训练

SparkStreaming原理                 1、SparkStreaming原理                 2、SparkStreaming与Storm 在流处理方面的比较                 3、SparkStreaming与Spark 交互的实现机制                 4、SparkStreaming核心代码剖析

SparkStreaming实践                 1、SparkStreaming 滑动窗口                 2、SparkStreaming foreachRDD                 3、SparkStreaming 性能优化                 4、SparkStreaming 持久化                 5、SparkStreaming Checkpoint                 6、SparkStreaming 容错                 7、SparkStreaming 事务                 8、SparkStreaming客户端编程实践

第十八阶段+第十九阶段（SparkMllib机器学习平台+SparkGraphx图计算平台）

SparkMllib算法模型原理                 1、数据挖掘基础知识                 2、机器学习基础知识                 3、机器学习案例                 4、Mahout/Spark MLib 并行挖掘平台中的关联规则                 5、Mahout/Spark MLib 并行挖掘平台中的预测协同过滤                 6、Mahout/Spark MLib 并行挖掘平台中的推荐模型                 7、SparkMllib模型的原理                 8、SparkMllib模型的算法实现

SparkMllib算法实践                 1、推荐分析模块的深度剖析                 2、推荐分析算法MapReduce 并行实现及应用开发                 3、关联规则挖掘算法MapReduce 并行实现及应用开发                 4、频繁模式挖掘算法的 MapReduce 并行实现及应用开发                 5、回归预测的 MapReduce 实现和 Spark 实现技术                 6、局部加权线性回归预测算法 MapReduce、Spark实现技术

SparkGraphX核心原理                 1、SparkGraphX基础原理                 2、SparkGraphX核心代码剖析

SparkGraphX实践                 1、SparkGraphX客户端 API 介绍                 2、基于 Spark GraphX 实现图数据的分析程序开发

第二十阶段（大数据项目实战）

电商数据离线分析平台                 用SparkSQL、SparkStreaming，进行离线计算和实时计算业务模块的开发。实现了用户访问session  分析、页面单跳转化率统计、热门商品离线统计、广告点击流量实时统计4  个业务模块。合理的将实际业务模块进行技术整合与改造，项目完全涵盖了Spark Core、Spark SQL和Spark  Streaming这三个技术框架中几乎所有的功能点、知识点以及性能优化点

移动基站信号监测大数据                 移动通信基站信号数据采集，实时分析及移动信号监测系统。该系统利用移动与联通两家运营商的信令数据，通过对基站信号大数据的实时提取与分析，结合基站信号覆盖模式、信号强弱、覆盖区域等实际情况，实时动态采集及分析监测置信度较高、精度较高的移动基站信号监测系统。

运维大数据平台                 银行和金融服务行业相关系统每天产生数以 TB 计的交易、支付、渠道等各种日志数据。运维大数据平台为迅速增长的海量数据建立全新的处理策略和维护能力，应对日趋复杂的管理需求。运维大数据通过海量日志数据分析，可以帮助银行机构提高服务质量，占据竞争优势。

舆情大数据平台                 舆情大数据监测平台系统是针对互联网新兴媒体，通过对海量网络舆论信息进行实时的自动舆情采集，舆情分析，舆情汇总，舆情监视，并识别其中的关键舆情信息，及时通知到相关人员，从而第一时间应急响应，为正确舆论导向及收集网友意见提供直接支持的一套信息化平台。