王红元高级讲师

专注移动开发领域，多年iOS开发和教学经验，曾经带领团队开发出众多款 优秀APP作品。

国内知名视频聊天软件 < 新浪秀场 > 就出自王老师之手，王老师全 面负责 < 新浪秀场 > iOS客户端的设计和开发，并参与了 < 新浪秀场 > Android、Windows 、web端

开发。同时王老师还曾兼职担任过多家公司技术顾问，帮助其解决开发中的 重点难题。

除此之外，王老师还主导开发了< 智慧城市 > < 天翼看交通 > < 公交wifi > 等热门APP。王老师开发过的作品涉及旅游、交通、社交、视频等方面，对即时聊天、流媒体等技术有深入研究。      

王老师不但开发经验丰富，授课风趣幽默，且激情四射。擅长以各种生活中 的案例出发，帮助学生理解消化学习中的各种难点。另外，王老师教学总是以学生角度思考讲解，备受学生喜爱。

大数据核心知识

Hadoop基础

Hadoop1介绍

hadoop1架构

hadoop2架构（对比hadoop1）

hadoop2环境搭建

HDFS操作

yarn操作

Hadoop应用

Hive数据仓库

zookeeper系统服务

HBase非关系型数据库

Sqoop数据库抽取工具

Flume日志抽取工具

Spark基础

环境搭建

Spark平台介绍

RDD弹性分布式数据集

Scala编程

Spark应用

Spark-SQL组件

DataFrame组件

课程优势

1.真实的企业项目；

2.目前企业中应用广泛的技术路线；

3.部分Spark源码剖析，从源码层面提升问题解决能力。

4.从hadoop1到hadoop2机制原理详细解说；

5.生产环境hadoop集群调优经验；

6.企业真实项目实战；

本阶段学习目标

1.了解hadoop机制原理 ；

2.了解hadoop集群搭建过程；

3.了解Hdfs API使用以及mr编程模型；

4.了解hive、hbase、sqoop、flume等组件的使用方法；

5.Spark平台的优势以及Spark集群的搭建过程；

6.Scala程序设计基础；

7.Spark-SQL和DataFrame API详解。

本阶段学习效果

1.了解hadoop集群的搭建过程；

2.能够**mr和hive来实现简单的数据清洗的业务需求；

3.能够了解数据的抽取，转换，清洗，建模，入库过程；

4.掌握Spark集群的搭建；

5.掌握函数式编程思想，能够根据业务需求编写高质量的Scala程序；

6.掌握大规模离线数据的计算、分析能力。