欢迎您访问济南云启数据科技有限公司网站
网站首页 >课程大纲> 进阶课程
Hive-数据仓库工具

1、Hive功能、体系结构、使用场景
2、Hive环境搭建、初级使用
3、Hive原数据配置、常见交互方式
4、Hive中的内部表、外部表、分区表
4、Hive 数据迁移
5、Hive常见查询(select、where、distinct、join、group by)
6、Hive数据的存储和压缩
7、Hive常见优化(数据倾斜、压缩等)
8、结合Hive对用户浏览日志实际案例分析

Hbase-分布式数据库


1、Hbase入门

2、安装和目录机构介绍
3、Hbase Shell
4、Hbase架构详解
5、Hbase文件存储和读写
6、Hbase 表的设计和调优
7、通过API访问Hbase
8、集群管理
9、节点管理和备份与恢复
10、高级特性快照和集群复制

Scala编程详解

1、Scala编程基础语法
2、Scala编程条件控制与循环
3、Scala编程函数式编程
3、Scala编程详解:数组操作之Array、ArrayBuffer以及遍历数组
4、Scala编程数组操作之数组转换
5、Scala编程Map与Tuple
6、Scala编程面向对象编程
7、Scala编程函数式编程之集合操作
8、Scala编程模式匹配
9、Scala编程类型参数
10、Scala编程隐式转换与隐式参数
11、Scala编程Actor入门

Spark-分布式内存计算引擎

1、Spark 概述、生态系统、与MapReduce比较
2、Spark 编译、安装部署(Standalone Mode)及测试
3、Spark应用提交工具(spark-submit,spark-shell)
4、Scala基本知识讲解(变量,类,高阶函数)
5、Spark 核心RDD 特性、常见操作、缓存策略
6、RDD Dependency、Stage常、源码分析
7、Spark 核心组件概述
8、Spark 高阶应用
9、Spark on YARN运行原理、运行模式及测试
10、Spark HistoryServer历史应用监控
11、Spark Streaming流式计算 原理、DStream设计
12、Spark Streaming 常见input、out
13、Spark Streaming 与Kafka集成
14、结合Spark对用户浏览日志进行分析

Impala-分布式计算框架

1、什么是Impala
2、Impala的数据查询
3、Imala跟Hive对比
4、Impala性能优化

Solr-企业级搜索应用服务器


1、最基础的solr语法2、solr 环境搭建
3、Solr的二次开发
4、Solr在hadoop集群的使用
5、海量数据的索引和实时检索
6、项目实战:架构设计、索引设计、目录树实现、商品筛选实现

ELK大数据搜索及日志分析系统

1、认识ELK及Windows安装
2、安全性控制—Shield插件
3、NXLog及其与ELK配合
4、Linux系统搭建ELK服务
5、Elasticsearch详解
6、Logstash详解
7、Kibana详解

Storm-流式计算引擎


1、Storm简介和课程介绍

2、Storm原理和概念详解
3、Zookeeper集群搭建及基本使用、测试
4、Storm api 使用
5、Spout的Tail特性、storm-starter及maven使用、Grouping
6、实例讲解Grouping策略及并发
7、案例开发——计算网站PV通过2种方式实现汇总型计算"
8、案例优化引入Zookeeper锁控制线程操作
9、计算网站UV(去重计算模式)
10、Storm事务详解
11、DRPC精解和案例分析
12、Storm Trident 入门
13、Trident API和概念
14、Storm Trident实战之计算网站PV
15、ITridentSpout、FirstN(取Top N)实现、流合并和Join
16、Storm Trident之函数、流聚合及核心概念State
17、Storm Trident综合实战
18、Storm集群和作业监控告警开发
19、ITridentSpout、FirstN(取Top N)实现、流合并和Join
20、Storm Trident之函数、流聚合及核心概念State

大数据协作框架(Sqoop、Flume、Ozzie)

1、Sqoop功能、使用原则
2、将RDBMS数据导入Hive表中(全量、增量) 
3、将HDFS上文件导出到RDBMS表中
4、Flume 设计架构、原理(三大组件)
5、Flume初步使用,实时采集数据
6、如何使用Flume监控文件夹数据,实时采集录入HDFS中
7、任务调度框架Oozie 架构、原理
8、使用Oozie调度MapReduce Job和HiveQL
9、定时调度任务使用

Storm电商实时数据分析系统

1、课程中完整开发3个Storm项目,均为企业实际项目,其中一个是完全由Storm Trident开发。
2、从Kafka到Storm项目开发及HighCharts图表开发
3、搭建CDH5生态环境完整平台,且采用Cloudera Manager界面化管理CDH5平台
4、分享实际项目的架构设计、优劣分析和取舍、经验技巧,陡直提升学员的经验值

大数据高薪面试剖析

1、企业大数据项目的类型
2、技术架构(如何使用各框架处理数据)
3、冲刺高薪面试
4、面试简历编写(把握重点要点)
5、常见面试题讲解
6、针对普遍问题进行公共解答 
【2017】6138-1456号 Copyright © 1998 - 2017 Tencent. All Rights Reserved.版权所有:济南云启数据科技有限公司  技术支持:山东泉诺网络科技有限公司