课程详情

(Hadoop,Spark,电信项目贯穿)

Hadoop的分布式文件系统HDFS；HDFS的概念、HDFS的API的应用、NameNode与SecondaryNameNode与DataNode的原理与通信机制、数据块Block的概念、NameNode的文档目录树、NameNode与DataNode的关联；Hadoop伪分布式的搭建、利用HDFS的API对分布式文件系统进行操作、掌握NameNode与SecondaryNameNode的通信原理、掌握NameNode与DataNode的通信原理

Hadoop的计算框架MapReduce；利用MapReducer的计算框架实现电信日志的分析、深入理解Shuffle机制、FileOutPutFormat、FileInPutFormat；熟练Map、Reducer、Sort、Partition的编程、深入理解Shuffle机制、深入理解OutPutFormat与InputFormat、基于Hadoop的对象序列化机制

Hadoop的资源管理与资源调度；Yarn框架；深入理解MapReducer的通信机制：利用Yarn的资源管理和资源调度机制。理解进程ResourceManager，NodeManager，ApplicationMaster等进程的作用；深入理解Yarn的资源管理与资源调度机制。掌握整个MapReducer的计算流程和资源调度流程

HBase；搭建NOSQL数据库HBase的集群、利用Zookeeper做HBase的HA机制 掌握HBase的集群的的搭建

HIVE；数据仓库基础知识、Hive定义、Hive体系结构简介、Hive集群、客户端简介、 HiveQL定义、HiveQL与SQL的比较、数据类型、外部表和分区表、表的操作与CLI客户端演示、数据导入与CLI客户端演示、查询数据与CLI 客户端演示、数据的连接与CLI客户端演示、用户自定义函数（UDF）的开发与演示 利用HIVE做日志分析的查询

Spark；Spark介绍：Spark应用场景、Scala编程语言、Scala高级编程、Spark集群部署等 利用Spark流式编程做日志的分析

电信项目；把第四阶段的电信项目用Hadoop与Spark实现；熟练应用Hadoop的MapReducer，Hive与Spark

达内JAVA教学特色

1.云计算课程体系：内容全，技术深，涉及JavaEE架构级技术，分布式高并发技术，云计算技术，云计算架构技术等。

2.云计算云主机：提供真实的大数据云计算开发部署环境，学员可以拥有几十台主机节点以完成开发部署，提前适应未来工作。

3.双模式教学体验：达内强大的TMOOC + TTS8.0在线教学平台，为学员提供线下学习，线上辅助的双模式教学体验。

达内教育优势

1.学习0负担

2005年达内率先创办先就业后付款助学模式，缓解学费压力，承保就业效果。

2.教练全天辅导

为保证零基础学员学会专业技术，达内特邀千名教练全天候辅导学员，随时解答技术难题。

3.专家团授课

70名行业专 家亲授课程，每个专家只讲解更擅长的技术。

4.融入课程

2005年达内率先创办可先就业后付款助学模式，缓解学费压力，承保就业效果。

5.保证教学效果

2005年达内率先创办可先就业后付款助学模式，缓解学费压力，承保就业效果。

机构简介

达内致力于面向IT互联网行业，培养软件开发工程师、测试工程师、系统管理员、智能硬件工程师、UI设计

师、网络营销工程师、会计等职场人才。2015年起，推出面向青少年的少儿编程、智能机器人编程、编程数

学等课程。达内的使命：缔造年轻人的中国梦、缔造达内员工的中国梦