北京去哪里学习零基础DBA大数据课程
『本月优惠活动』:
甲骨文原厂Oracle DBA课程,由15年Oracle教学经验、学员评价高的冉老师小班面授,95%OCP认证**,可申请免费试听。本月报名赠送12天原厂认证课程,同时赠送大数据课程。报名详情咨询在线老师。
课程优势:
1. 集世界**商用数据库Oracle、**开源数据库MySQL和*流行的Linux操作系统于一体
2. 源于甲骨文雇主企业的课程需求,真正符合企业用人需要
3. Oracle标准课程与国内主流技术的有机整合,实用性与指导性并重
4. 真正的Oracle数据库原厂技术
5. Oracle原厂认证资深讲师授课
6. 真正的Oracle公司原厂教材
7. 具备获取Oracle原厂国际认证OCA、OCP和OCM的能力
8. 具备获取Oracle原厂国际认证OCP MySQL DBA和OCP MySQL Developer的能力
9. 具备相当于RedHat国际认证RHCSA和RHCE的能力
10. 理论与实践并重,多个企业真实项目案例贯穿其中
11. 从基础到高级的所有知识点均提供上机实践,充分强化学习效果
适用群体:大专及以上学历,具备基本的计算机操作能力、基本的英语阅读能力
培养目标:
具备Oracle数据库OCM国际认证水平的数据库开发员和管理员(DBA)
具备MySQL数据库国际认证水平的数据库开发员和管理员(DBA)
具备Linux操作系统专业水平的系统管理员
就业方向:
OCP/OCM数据库管理员(DBA),Oracle数据库管理员(DBA),Oracle数据库开发员、Oracle运维工程师
MySQL数据库管理员(DBA),MySQL数据库开发员、MySQL运维工程师
Linux系统管理员、系统运维工程师
课程内容:
课程名称 |
课程及实训内容 |
|
C1 Linux操作系统使用与管理 |
主题 |
主要知识点 |
Linux发展历史 |
UNIX和Linux的历史、现状及发展;Linux操作的不同产品。 |
|
安装Linux操作系统 |
Linux操作系统的安装与初始化配置。 |
|
常用命令 |
Linux基本命令、常用命令操作;vi编辑器的三种状态及状态间的切换、常用的编辑命令。 |
|
用户管理 |
用户和组的概念、口令、权限等管理机制;系统管理、启动过程、任务调度;root密码安全设置。 |
|
服务管理 |
Service概念;环境变量设置;进程的查看、监视、调度和控制;远程Telnet,FTP等网络技术。 |
|
文件管理 |
Linux的基本的目录结构、文件属性和访问权限。 |
|
磁盘管理 |
磁盘分区、磁盘的挂接原理;为Linux增加磁盘;逻辑卷管理。 |
|
进程管理 |
Linux进程的概念,进程的基本原理;进程相关的管理命令。 |
|
C2 Linux操作系统管理与维护 |
主题 |
主要知识点 |
Vi编辑器高级应用 |
Vi编辑器的高级命令,包括文本位移、字符串检索、全局替换、shell插入、缓冲区等。 |
|
使用udev工具 |
udev的概念和用途,使用udev设定设备文件属性。 |
|
软件管理 |
配置系统参数,加载RPM包,启动与关闭,账户安全、目录树等基本概念。 |
|
模块管理 |
Linux的构成,存储模块、文件管理模块、用户组群管理模块、网络管理模块、磁盘管理模块。 |
|
文件系统 |
Linux文件及目录属性,用户组群管理时对其访问权限的设定,实际工作中的应用范例。 |
|
主机信任关系 |
Linux两节点间如何设置信任关系,无障碍收发信息等实用功能设置。 |
|
网络管理与服务 |
TCP/IP基础,网络和主机地址、网关、子网、路由等概念,NTP、NFS、Samba、DNS、Web服务的配置。 |
|
高级服务管理 |
日志的原理及用途、日志的结构,设置服务属性,调整服务的启动和关闭顺序。 |
|
备份与恢复 |
系统备份和恢复技; 日志分析;调节和维护系统内核参数。 |
|
P1 项目实训 |
名称 |
项目描述 |
TNA系统Linux基础架构 |
实现一个真实的、基于B/S架构的《电信网络学院(TNA)系统》的Linux基础架构,项目关注于在Linux操作系统上搭建项目所需的基础架构平台。根据TNA项目的要求,完成底层Linux操作系统的用户、权限配置、磁盘及文件的规划和配置,以及中间件(如JDK和Tomcat)和IDE开发环境的安装和配置等工作。 |
|
C3开发Linux Shell脚本程序 |
主题 |
主要知识点 |
Shell 简介 |
Shell基础知识,B Shell、C Shell、K Shell等不同类型Shell及其特点。 |
|
Shell编程入门 |
基本的Shell命令;运行Shell 程序,Shell参数,Shell变量的使用。 |
|
编写Shell脚本 |
Shell脚本的基本语法,脚本文件的组成;简单Shell脚本的编写。 |
|
Shell脚本的调试 |
Shell脚本的调试;设置Shell标记,中间状态检查。 |
|
正则表达式 |
正则表达式的作用,正则表达式中的元字符和转意字符;书写正则表达式。 |
|
Awk命令 |
Awk的历史;Awk内置变量、字段分隔;Awk命令及其格式。 |
|
Sed流编辑 |
Sed的作用;Sed命令格式;Sed寻址方式;常用的编辑命令。 |
|
条件选择 |
条件表达式;数字和字符比较,布尔运算和数学运算。 |
|
输入和输出 |
命令行参数的用途;命令行参数的定位和输入;文件描述符的概念;使用文件描述符访问文件。 |
|
循环语句 |
Shell脚本中使用循环语句控制流程;在Shell中获取键盘输入;子菜单的使用及设置。 |
|
使用函数 |
函数的定义,正文中使用函数,参数和变量的作用范围,函数返回值。 |
|
使用Trap陷阱 |
Trap的原理及用途;Linux系统信号分类;使用Trap捕捉信号并进行错误处理。 |
|
C4 MySQL数据库设计与开发 |
主题 |
主要知识点 |
走进MySQL数据库 |
MySQL发展简史与产品构成;MySQL数据库安装;经典world数据库。 |
|
服务器与客户端 |
MySQL服务器的启动与停止、客户端常用命令。 |
|
表数据查询 |
使用SELECT语句查询表数据;MySQL的数值、字符串、日期/时间等数据类型;使用SQL表达式。 |
|
管理数据库和表 |
创建、修改和删除数据库;创建、修改和删除表。 |
|
操作表数据 |
使用INSERT/UPDATE/DELETE进行数据的插入、修改和删除。 |
|
表的联接 |
联接(join)的概念;在SQL中联接表;基本联接、内联接、外联接的原理与使用。 |
|
预处理语句 |
预备、关闭预处理语句,基于参数执行预处理。 |
|
使用外键 |
外键、外键约束和引用完整性。 |
|
事务与隔离级别 |
使用事务控制语句执行多个并发的SQL语句;理解事务的ACID属性;事务的隔离级别。 |
|
C5 MySQL数据库应用与管理 |
主题 |
主要知识点 |
配置MySQL服务器 |
MySQL服务器的运行方式;选项文件与选项文件组;动态服务器变量、服务器的SQL模式。 |
|
获取元数据 |
元数据的访问方法;INFORMATION_SCHEMA数据库与表;SHOW和DESCRIBE语句;mysqlshow客户端。 |
|
存储引擎 |
存储引擎概念及原理;*常见的存储引擎MyISAM、 InnoDB和MEMORY等的特征;使用特定的存储引擎创建表。 |
|
锁的原理与应用 |
锁的概念、死锁的原理;锁的粒度、显式锁;表级锁与行锁、建议锁。 |
|
使用分区 |
使用分区的原因;分区表的创建、修改与删除;RANGE分区、LIST分区、HASH分区、KEY分区、子分区;获取分区信息;分区的优缺点。 |
|
导出和导入数据 |
数据的导出和导入;SELECT和INTO OUTFILE导出数据;LOAD DATA INFILE导入数据;使用SQL脚本导入数据。 |
|
备份与恢复 |
逻辑(文本)备份、Raw(二进制)备份、基于快照的备份、基于复制的备份;备份日志和状态文件;用于恢复的数据导入方法、处理二进制日志内容。 |
|
使用视图 |
视图的定义及使用视图;创建、检查、修改与删除视图 |
|
安全与用户管理 |
安全风险与安全措施;MySQL的权限类型、授权表;五个访问级别—用户帐号、数据库、表、列、存储程序;用户帐号的维护;客户端的访问控制、使用安全连接。 |
|
存储程序 |
什么是存储程序;创建存储过程和函数、管理存储程序;复合语句、分配变量、参数的声明、流程控制语句、声明和使用处理器、游标;存储程序的安全与备份。 |
|
触发器与事件 |
触发器的原理、创建触发器、触发器事件与错误处理、删除触发器;什么是事件、事件的创建与管理、计划表。 |
|
P2项目实训 |
名称 |
项目描述 |
TNA系统MySQL应用 |
实现一个真实的、基于B/S架构的《电信网络学院(TNA)系统》的MySQL后端系统,项目关注于在Linux操作系统上搭建项目所需的MySQL数据库架构。根据TNA项目的要求,完成MySQL数据库的安装和配置,完成建库、建表、数据的管理及备份与恢复、安全管理、数据导入、导出、分区、事务、存储引擎的配置和管理等工作。 |
|
C6 Oracle数据库设计与开发 |
主题 |
主要知识点 |
走进Oracle数据库 |
Oracle数据库产品、Oracle数据库环境、Oracle客户端-服务器模型 |
|
安装Oracle数据库 |
在Linux中安装Oracle、在Windows中安装Oracle,以及首次使用Oracle准备工作 |
|
服务器与客户端 |
Oracle服务器进程、数据库管理员、Oracle Enterprise Manager和SQL*Plus工具 |
|
表数据查询 |
Oracle数据库的组织结构、使用SELECT查询数据、聚集的使用,如SUM、COUNT、AVG等 |
|
管理数据库表 |
SQL语句DML、DDL等类型、数据类型、表的创建、修改和删除、数据的插入、修改和删除 |
|
SQL函数与类型转换 |
SQL基本函数,字符函数、数值函数、日期函数;Oracle空值(NULL)的处理、数据类型转换 |
|
多表联接与集合 |
多表联接,包括内联接、左外联接、右外联接、自联接、全联接等;集合的交集、并集等运算 |
|
使用事务 |
Oracle事务基本概念、ACID特性、事务控制语句COMMIT、ROLLBACK,安全点SAVEPOINT |
|
C7 Oracle SQL高级应用 |
主题 |
主要知识点 |
使用子查询 |
SQL语句的执行顺序;Oracle子查询;单行单列、多行单列与多行多列子查询。 |
|
用户访问控制 |
用户访问控制;系统权限、对象权限、角色的授予、回收、转让、级联等SQL语句的使用。 |
|
事务和锁 |
事务的ACID特性、事务和锁的关系,DML锁与DDL锁、锁的用途。 |
|
使用索引 |
索引的分类;B树索引和Bitmap索引的原理;优化器对索引方式的影响。 |
|
使用约束 |
5种基本约束(not null、unique、primary key、foreign key及check)的适用环境,约束高级应用特性,包括enable/disable/validate/novalidate组合,以及延迟约束的使用场景等。 |
|
使用视图 |
视图的用途;简单视图与复杂视图的特点;视图中有关选项的约束机制。 |
|
同义词 |
同义词的概念及用途;公有同义词和私有同义词的适用范围;同义词的使用与维护。 |
|
使用序列 |
序列Sequence的概念、序列的用途;序列的使用方法;序列的管理与维护。 |
|
外部表 |
外部表的概念和用途;外部表的特性;创建外部表;读取外部平面表的方法。 |
|
INSERT与插入数据 |
剖析Oracle中的INSERT语句的分类;单行插入、多行插入、多表插入的适用场景与语法。 |
|
DML和DDL语句 |
merge语句和with子句;运用DDL的语句对表列的add、drop、modify、rename等操作。 |
|
分层查询 |
分层查询的概念和原理;自上而下和自下而上遍历分层节点;start with和connect by prior关键字结合Level伪列的用法。 |
|
时区与字符集 |
全球化概念;时区与字符集对数据的影响;Timezone的选择与设置;字符集的选择与设置。 |
|
正则表达式 |
正则表达式的规则与使用;REGEXP_LIKE、REGEXP_INSTR、REGEXP_SUBSTR、REGEXP_REPLACE。 |
|
P3项目实训 |
名称 |
项目描述 |
EBP系统Oracle架构 |
实现一个真实的、基于RIA的《电子商务平台(EBP)系统》,项目的关注点在搭建Oracle数据库后端系统架构,以及SQL语句诸多特性的使用。根据EBP项目的要求,完成项目所需的Oracle数据库的安装和配置、表的管理和数据访问,基本SQL的使用,以及高级SQL的使用、多表联接、用户管理、索引、事务、序列的应用等。 |
|
C8 Oracle PL/ SQL程序设计 |
主题 |
主要知识点 |
PL/SQL简介 |
PL/SQL概述、PL/SQL的用途;PL/SQL程序的灵活性、安全性、适用性、兼容性等。 |
|
PL/SQL数据类型 |
PL/SQL基本变量类型、复合类型;变量的定义、运算符和表达式。 |
|
PL/SQL程序结构 |
PL/SQL的块结构;流程分支结构--if条件语句的形式及用法、循环控制结构-loop语句的用法。 |
|
创建存储过程 |
PL/SQL存储过程的创建;在存储过程中使用输入/输出参数、输出参数的作用及使用方法。 |
|
PL/SQL函数 |
PL/SQL函数的用用途、创建PL/SQL函数;函数的单值返回特性;函数与存储过程的区别。 |
|
使用游标 |
游标的原理和用途;隐式游标、显式游标、参照游标的定义及使用方法。 |
|
异常处理 |
异常机制的原理和用途;Oracle预定义异常、非预定义异常与用户自定义异常;异常处理。 |
|
使用触发器 |
触发器的用途; 应用基于表的DML触发器、 应用基于复制视图的instead of型触发器。 |
|
创建PL/SQL包 |
PL/SQL包的用途;建立PL/SQL包头和包体,针对存储过程及函数的不同游标类型的标准封装。 |
|
Java调用PL/SQL存储过程 |
Java如何调用Oracle存储过程;从Java中为存储过程传递参数和接收返回值;使用存储过程实现数据库分页查询。 |
|
P4项目实训 |
名称 |
项目描述 |
EBP系统Oracle后端开发 |
实现一个真实的、基于RIA的《电子商务平台(EBP)系统》,项目的关注点在于使用PL/SQL开发EBP项目所需的存储过程和函数,并成功整合到EBP系统中。根据EBP项目的要求,完成项目所需的Oracle数据库的表的管理和数据访问工作,并进行前端Java应用程序所需的存储过程和函数的开发和调试工作,以及数据库客户端对存储过程的整合访问工作。 |
|
C9 Oracle数据库应用与管理 |
主题 |
主要知识点 |
实例和数据库 |
Oracle实例的概念;实例与数据库的关系;单实例下的数据库体系结构。 |
|
管理实例和数据库 |
实例的启动和关闭;参数文件的读取、检查控制文件、访问数据文件的过程。 |
|
控制文件 |
控制文件的用答案;控制文件的结构特点;重建控制文件和恢复控制文件。 |
|
Redo日志 |
Redo日志的原理和用途;增加日志组及成员,实战处理日志受损下的数据库。 |
|
归档日志 |
日志的归档和非归档模式;管理归档日志;自定义和命名归档文件;归档模式的相关参数。 |
|
日志挖掘 |
日志挖掘的概念,使用logmnr对DML及DDL进行日志挖掘;日志信息对恢复数据的重要意义。 |
|
管理Undo |
Undo的工作原理及用途;Undo常用参数及视图、实战Undo文件受损的恢复方法。 |
|
理解检查点 |
检查点机制的原理及用途;检查点的分类、完全检查点特点和增量检查点的设计思路。 |
|
实例恢复机制 |
实例恢复概念、实例恢复的增量检查点特性;Redo前滚和Undo回滚的工作原理与应用。 |
|
数据字典和动态视图 |
获得Oracle数据库的核心信息的方法;数据字典的概念、动态视图的概念;静态数据字典视图和动态v$视图的用法。 |
|
Oracle存储架构 |
数据库存储的物理及逻辑架构,数据文件、表空间、段、区和块的概念;行数据的存储方式。 |
|
表的类型与用途 |
堆表、分区表、索引组织表、簇表,临时表等各类表物理及逻辑构成,适用性和局限性。 |
|
数据库审计 |
审计的概念与用途;审计的类型;开启审计功能、审计参数的配置;查看审计信息。 |
|
数据装载 |
将外部平面表装载到Oracle数据库内部;数据源和控制源的描述。 |
|
配置Oracle网络 |
Oracle Net的工作原理;静态、动态注册方法和用途;专用连接盒共享连接方式及参数配置等。 |
|
Oracle ASM管理 |
ASM工作原理;演示建立ASM实例;创建ASM磁盘和磁盘组;模拟ASM文件的IO动态平衡。 |
|
物化视图 |
物化视图的由来;物化视图的用途;搭建分布式物化视图环境,检验增量刷新机制。 |
|
C10 Oracle数据库备份与恢复 |
主题 |
主要知识点 |
逻辑备份与恢复 |
数据的导入和导出;数据泵的工作原理;可传输表空间的导入和导出。 |
|
物理备份与恢复 |
物理备份和恢复的基本原理,归档模式下的备份和还原、 恢复过程。 |
|
手工备份 |
手工备份的适用情况;用户管理的备份方式;手工备份的基本概念和相关视图。 |
|
手工完全恢复 |
手工完全恢复的适用场合;不同场景下手工完全恢复的操作流程。 |
|
手工不完全恢复 |
手工不完全恢复的场景,包括基于时间点或SCN数据文件损坏的恢复; 使用备份控制文件针对数据文件损坏的复杂恢复过程。 |
|
使用闪回 |
闪回概念和用途;七种闪回技术的需求和原理分析;不同闪回技术的适用场景及操作流程。 |
|
RMAN概述 |
RMAN的工作原理;映像备份、备份集与备份片;完全备份、增量备份、RMAN参数。 |
|
RMAN备份 |
生产环境中RMAN备份的常用方法,不同方法的适用场景及操作流程。 |
|
RMAN完全恢复 |
RMAN完全恢复的基本原理及适用场景;不同场景下完全恢复的操作流程。 |
|
RMAN不完全恢复 |
RMAN不完恢复的基本原理,误删除表的DBPITR恢复、误删除表空间的不完全恢复、TSPITR的不完全恢复等。 |
|
目录库和辅助库 |
Catalog 和Auxiliary的用途; 搭建catalog数据库; 网络(active 方式)复制数据库。 |
|
RMAN的维护 |
RMAN常用命令,包括连接target/auxiliary/catalog三类数据库方法;正确使用run{}命令。 |
|
P5项目实训 |
名称 |
项目描述 |
12306铁路客服系统后端管理 |
以著名的互联网应用12306铁路客户服务系统为原型,搭建一个简版的《12306铁路客服系统》后端Oracle系统,项目的关注点在于Oracle SQL的高级应用和数据库管理。根据12306项目的要求,完成项目所需的Oracle数据库的实例、日志、审计、网络和物化视图的配置和管理,以及不同方式的数据备份和恢复工作,如闪回、手工备份与恢复、RMAN备份与恢复等。 |
|
C11 Oracle集群配置与管理 |
主题 |
主要知识点 |
RAC简介 |
高可用性概念、Cluster概念;Oracle 11gR2 RAC体系结构、Grid infrastructure。 |
|
安装前的准备 |
Oracle 11gR2 RAC安装硬件环境需求;基于虚拟机的安装、Linux平台的环境需求。 |
|
安装RAC系统 |
安装Oracle 11gR2 RAC的步骤及注意事项;RAC网络配置、RAC的ASM配置。 |
|
创建RAC数据库 |
创建数据库及实例;RAC数据库存储原理及共享存储技术;Oracle RAC 工作原理。 |
|
管理RAC实例 |
管理ASM环境下的RAC实例;为每个节点安装Enterprise Manager Agent。 |
|
管理RAC节点 |
RAC后台进程;初始化参数文件的配置;全局动态参数视图的使用;节点切换过程。 |
|
管理RAC数据库 |
||
RAC的备份和恢复 |
RAC归档日志的配置;使用EM做RAC的备份恢复;RMAN备份面向RAC的策略。 |
|
性能监控 |
RAC诊断框架;RAC性能调优方法;RAC在EM下的阈值和告警;DIAG Trace控制接口;Crash Dump、Hang Analysis示例。 |
|
P6项目实训 |
名称 |
项目描述 |
12306铁路客服系统RAC集群 |
以著名的互联网应用12306铁路客户服务系统为原型,搭建一个简版的《12306铁路客服系统》后端Oracle集群系统,项目的关注点在于Oracle数据库RAC集群的构建和管理。根据12306项目的要求,分别完成Oracle数据库RAC集群安装、RAC数据库的创建。RAC实例、节点和数据库的管理,以及RAC的备份和恢复工作,以满足项目复杂查询和大数据量访问的需要。 |
|
C12 Oracle 12C数据库新特性 |
主题 |
主要知识点 |
12c新特性介绍 |
Pluggable数据库简介;flex集群;IPv6支持;全局数据服务。 |
|
Pluggable数据库创建 |
PDB结构;CDB和PDB; CDB$root; PDB$SEED; 表空间使用;创建Pluggable数据库;生成PDB。 |
|
Pluggable数据库配置管理 |
连接CDB和PDB;CDB和PDB的用户管理;redo和undo;临时表空间;PDB迁移。 |
|
Pluggable数据库备份恢复 |
RMAN配置;备份CDB和PDB;CDB和PDB恢复。 |
|
Flex集群配置 |
Flex集群结构;灵活性和高可用性;配置flex集群;flex集群和 ASM。 |
|
Flex集群管理 |
将现有的集群变为flex集群;flex集群ASM配置;RAC中的PDB;全局数据服务配置。 |
|
C13 Oracle数据库性能调优 |
主题 |
主要知识点 |
AWR与调优顾问系统 |
Oracle AWR的概念、AWR的用途;AWR体系结构;AWR存储库;调优顾问系统。 |
|
ASH与AWR体系结构 |
快照、度量、基线、阈值、告警的创建和监控;AWR架构的相关视图。 |
|
顾问体系机制 |
ASSM的工作原理及用途;ASSM改善分段存储;常用Advisor的工作原理和用途。 |
|
自动维护任务 |
AUTOTASK概念及用途;AUTOTASK的设计思想及原理,AUTOTASK工作机制。 |
|
深度分析AWR报告 |
时间模型指标、等待事件模型指标、SQL和优化器指标、OS统计指标等几十个重要指标。 |
|
SQL语句调优 |
查询优化器;理解SQL语句调优;分析、运用执行计划。 |
|
SQL解析原理 |
优化程序的步骤;SQL语句的硬解析和软解析;共享游标;绑定变量。 |
|
CBO执行计划 |
RBO和CBO,统计信息、直方图、SQL Profile等概念,分析执行计划的若干方法。 |
|
了解执行计划 |
执行计划的概念、查看执行计划、分析执行计划;执行计划树、驱动表。 |
|
索引与多表连接调优 |
Nested loop join、hash join、sort merge join连接方式的运用;聚簇因子对执行计划的影响。 |
|
共享游标 |
共享游标的特点;父游标和子游标;v$sqlarea和v$sql视图。 |
|
SQL调优顾问 |
SQL tuning advisor对统计信息、Sql Profile、访问路径、结构重组的推荐;SQL access advisor对分区和物化视图的推荐。 |
|
C14 DataGuard配置与管理 |
主题 |
主要知识点 |
DataGuard原理 |
DG的软硬件需求;Primary数据库和Standby数据库关系的技术特点、作用及生存逻辑。 |
|
DataGuard分类 |
逻辑Standby和物理Standby;三种保护模式;Redo传输服务、Log应用服务、角色转换服务等 |
|
配置物理DataGuard |
搭建与配置物理DG;完成操作、管理、维护等一整套试验;检验灾难恢复及高可用性。 |
|
配置逻辑DataGuard |
搭建配置逻辑DG;完成操作、管理、维护等一整套整套试验;验证灾难恢复及高可用性。 |
|
配置快照DataGuard |
Oracle 11gDG提供的快照备库的特点;配置备库;测试临时打开备库的功能。 |
|
DataGuard角色转换 |
切换及故障转移试验;确认数据库的当前角色;关于V$DATABASE 视图中的DATABASE_ROLE列;V$DATAGUARD_STATS预估生存能力、重置期望保护模式等。 |
|
Broker配置 |
Broker的用途;Broker配置文件基本参数;启动和禁用、管理周期、状态查看等。 |
|
C15 Hadoop大数据处理 |
主题 |
主要知识点 |
大数据与Hadoop |
大数据的概念与特点;Hadoop发展历史;Hadoop在大数据处理中的应用;Hadoop生态系统 |
|
配置Hadoop运行环境 |
Hadoop的三种运行模式;Hadoop安装环境配置;Hadoop进程启停;执行经典案例WordCount |
|
Hadoop系统架构 |
Hadoop 基本原理;Hadoop 1.x架构及后台进程;HDFS架构与命名空间;HDFS数据存储与复制 |
|
使用HDFS文件系统 |
HDFS常用命令,如ls、cat、put、get等;HDFS管理与维护,safemode管理,balancer工具等 |
|
开发HDFS应用程序 |
使用Eclipse IDE,安装Hadoop插件;使用Hadoop API访问HDFS,包括文件读写、管理等 |
|
MapReduce分布式计算 |
MapReduce编程模型及工作原理; MapReduce作业调度;分析WordCount运行原理,分析源代码 |
|
开发MapReduce应用程序 |
MapReduce程序自定义Combiner;内置数据类型、自定义数据类型;实现MapReduce组合式作业 |
|
大数据处理平台Pig |
Pig大数据处理平台;Pig工作模式;Pig运行方式;Pig Latin语法、操作命令、数据类型、表达式等 |
|
开发Pig脚本应用 |
Pig常用函数、不同类型的数据检索,包括建表、查询、关联查询等;开发Pig脚本应用程序 |
|
数据仓库工具Hive |
数据仓库简介;数据仓库工具Hive的用途;Hive架构;Hive三种运行模式;Hive QL的JDBC编程 |
|
无限大表数据库HBase |
Hadoop数据库HBase用途;HBase逻辑模型与物理模型;HBase Shell模式命令、HBase API编程 |
|
P7 项目实训 |
名称 |
项目描述 |
HDFS大数据云盘 |
实现一个Web客户端的大数据云盘系统。该系统以Hadoop的HDFS文件系统为存储介质,因些具有海量存储的能力。云盘系统可供用户上传文件、查看、管理和共享云文件。项目主要涉及以下知识点:搭建和配置Hadoop环境,启动Hadoop进程,HDFS文件命令使用,使用HDFS API,编写处理HDF云盘处理程序,用Web界面查看操作HDFS等。 |
|
P8 项目实训 |
美国历年航班大数据统计分析 |
本项目基于美国民航航班的历年数据(1987年-2008年),计算处理某一年各个航班的飞行架次等数据。项目将原始数据上传到Hadoop的HDFS上,**编写MapReduce程序读取航班数据并计算和统计航班相关数据。项目主要涉及以下知识点:搭建和配置Hadoop环境,启动Hadoop进程,开发航班处理MapReduce程序、Pig脚本程序,使用Hive JDBC处理数据,**JSP查询处理过结果。 |