大数据实战应用培训课程导读用户信息包含了大量用户个性化需求、喜好信息,对其进行分析和挖掘,能更好地了解客户需求。但大多数企业还不知道如何处理这些数据,引入大数据处理技术的方式,实现高效率、低成本、易扩
用户信息包含了大量用户个性化需求、喜好信息,对其进行分析和挖掘,能更好地了解客户需求。但大多数企业还不知道如何处理这些数据,引入大数据处理技术的方式,实现高效率、低成本、易扩展的分析系统为企业最为倾向的选择。本课程结合企业转型发展及大数据发展战略,围绕企业大数据业务及行业应用市场拓展发展目标,重点讲授大数据的应用技术,提升企业IT技术人员的开发和运维能力,有很强的贴合度。
1.打破僵化思维,树立数据决策意识
2.掌握常用数据统计分析工具,能正确处理数据,得到可靠结论
3.掌握数据汇报可视化表达的方法
4.用办公软件**实现数据分析和可视化
模块一:移动互联网、大数据、云计算相关技术介绍
1、数据中心与云计算技术应用
2、智慧城市与云计算技术应用
3、移动互联网、大数据与云计算关联技术
4、移动云计算的生态系统及产业链
5、大数据技术在运营商、金融业、银行业、电子商务行业、零售业、制造业、政务信息化、互联网、教育信息化等行业中的应用实践
6、国内外主流的大数据解决方案介绍
7、当前大数据解决方案与传统数据库方案的剖析比较
8、Cloudera Hadoop 大数据平台方案剖析
9、开源的大数据生态系统平台剖析
模块二:大数据的挑战和发展方向
1、大数据时代的挑战
2、大数据时代的发展方向
3、大数据挖掘在各行业应用情况
模块三:大数据文件存储系统技术和分布式文件系统平台及其应用
1、Hadoop的发展历程
2、分布式文件系统HDFS
3、分布式文件系统HDFS架构及原理
4、分布式文件系统HDFS操作
5、Hadoop生态系统组件
模块四:Hadoop文件系统HDFS**实战:
1、HDFS的设计
2、HDFS的概念
3、命令行接口
4、Hadoop文件系统
5、Java接口
6、数据流
7、通过Flume和Sqoop导入数据
8、通过distcp并行复制
9、Hadoop存档
模块五:Hadoop运维管理与性能调优
1、第二代大数据处理框架
2、集群配置管理
3、HDFS的静态调优技巧
模块六:NOSQL数据库Hbase与Redis:
1、NOSQL基础
2、HBase分布式数据基础
3、安装Hbase
4、Hbase应用
5、HBase分布式数据库简介、发展历程、应用场景、工作原理、以及应用优势与不足之处
6、Redis内存数据库介绍,以及业界应用案例
模块七:类SQL语句工具——Hive
1、安装Hive
2、示例
3、运行Hive
4、Hive与传统数据库相比
5、HiveQL
6、表
7、查询数据
8、用户定义函数
模块八:数据挖掘SPARK建模基础介绍
1、Spark简介
2、Spark架构
3、Spark集群的安装与部署
4、Spark硬件配置
模块九:Kafka基础介绍
1、Kafka介绍
2、kafka体系结构
3、kafka设计理念简介
4、kafka通信协议
5、kafka的伪分布安装、集群安装
6、kafka的shell操作、java操作
7、kafka设计理念*
8、kafka producer和consumer开发
9、Kafka分布式消息订阅系统的应用介绍、平台架构、集群部署与配置应用实战
10、Flume-NG数据采集系统的数据流模型、平台架构、集群部署与配置应用实战
11、Hadoop与DBMS之间数据交互工具Sqoop的应用实践,
12、Sqoop导入导出数据以及Sqoop集群部署与配置
13、Kettle 集群的平台架构、核心技术、部署配置和应用实战
14、利用Sqoop实现 MySQL 与 Hadoop 集群之间
模块十:大数据典型应用与开发案例分析:互联网数据运营
1、案例1:贵州数据交易中心
2、案例2:大数据应用案例:公共交通线路的智能规划
3、讨论:浙江移动大数据应用与开发方向
模块十一:当前数据中心的改造和转换分析
1、流商业大数据解决方案比较
2、主流开源云计算系统比较
3、国内外代表性大数据平台比较
4、各厂商最新的大数据产品介绍
5、案例分析
《精益数据分析》精益系列丛书,《精益创业》作者埃里克·莱斯主编。本书围绕精益创业展开讨论,融合了精益创业法、客户开发、商业模式画布和敏捷/持续集成的精华。本书汇聚了100多位创始人、投资人、内部创业者和创新者的成功创业经验,呈现了30多个极具价值的案例分析,可以为各阶段的创业者提供行为准则。