|
大数据工程师简述 大数据工程师是在Linux系统下搭建Hadoop生态系统(cloudera是通 过大的输出者类似于Linux的红帽),把用户的交易或行为信息通 过HDFS(分布式文件系统)等存储用户数据文件,然后通 过Hbase(类似于NoSQL)等存储数据,再通 过Mapreduce(并行计算框架)等计算数据,然后通 过hiv或pig(数据分析平台)等分析数据,然后按照用户需要重现出数据的工程师。 |
|
|
|
【开始阶段课程(Java核心开发)】 ■ 学习内容:Java核心内容。 ■ 学习目标:掌握数据类型与运算符,数组、类与对象;掌握IO流与反射、多线程、JDBC。 ■ 完成目标:Java多线程模拟多窗口售票,Java集合框架管理。 |
|
|
【第二阶段课程(Java企业级开发)】 ■ 学习内容:JavaEE核心内容。 ■ 学习目标:Mysql数据基础知识,Jdbc 基础概念和操作掌握HTML和CSS语法、Javascript核心语法。 ■ 完成目标:京东电商网站项目、2048小游戏。 |
【第三阶段课程(Linux精讲)】 ■ 学习内容:Linux命令、文件、配置,Shell、Awk、Sed。 ■ 学习目标:搭建负载均衡、高可靠的服务器集群,可大网站并发访问量,保证服务不间断。 ■ 完成目标:Linux环境搭建、shell脚本小游戏 贪吃蛇。 |
|
|
【第四阶段课程(Hadoop生态体系)】 ■ 学习内容:HDFS、MapReduce、Hive、Sqoop、Oozie。 ■ 学习目标:掌握HDFS原理、操作和应用开发,掌握分布式运算、Hive数据仓库原理及应用。 ■ 完成目标:微博数据大数据分析、汽车销售大数据分析。 |
【第五阶段课程(Storm实时开发)】 ■ 学习内容:Zookeeper、HBase、Storm实时数据。 ■ 学习目标:掌握Storm程序的开发及底层原理,具备开发基于Storm的实时计算程序的能力。 ■ 完成目标:实时处理新数据和更新数据库,处理密集查询并行搜索处理大集合的数据。
|
|
|
【第六阶段课程(Spark生态体系)】 ■ 学习内容:Scala函数、Spark SQL、机器学习。 ■ 学习目标:熟练使用Scala快速开发Spark大数据应用,挖掘出其中有价值的数据。 ■ 完成目标:使用Spark处理离线数据、使用SparkStreaming完成实时计算。 |
【第七阶段课程(大数据项目实战)】 ■ 学习内容:大型综合性大数据项目。 ■ 学习目标:能够综合运用大数据知识进行非结构化数据开发、分析,能够开发大型项目。 ■ 某大型网站日志分析,移动业务感知分析,实时检测车辆超速项目,实时非法网站检测项目。
|
|
|
|
|
|
更多培训课程,学习资讯,课程优惠,课程开班,学校地址等学校信息,请进入南通科迅教育进行详细了解 。
咨询电话:132-1843-3132 微信同号 咨询QQ :2258407065