云計算分布式大數(shù)據(jù)Hadoop培訓
?
云計算分布式大數(shù)據(jù)Hadoop培訓——
HDFS&MapReduce&HBase&Hive&集群管理培訓
第一部分:
第1個主題:Hadoop思考
1.Hadoop的設計目標和適用場景
2.Hadoop架構解析
3.MapReduce工作原理和案例說明
第2個主題:?Hadoop安裝和配置實戰(zhàn)
1.?安裝和配置單機版Hadoop實戰(zhàn)
2.?安裝和配置偽分布式Hadoop實戰(zhàn)
3.安裝和配置分布式Hadoop集群實戰(zhàn)
第3個主題:HDFS
1.?HDFS命令行操作實戰(zhàn)
2.?HDFS的配置管理
3.?NameNode的工作機制
第4個主題:HDFS案例實戰(zhàn)
1.?HDFS案例的分析和設計
2.?環(huán)境搭建
3.使用Hadoop?Java?API實現(xiàn)對HDFS寫入、讀取、刪除文件等操作
第5個主題:MapReduce剖析
1.?MapReduce的原理和運行過程
2.?構建MapReduce的開發(fā)環(huán)境
第6個主題:MapReduce案例實戰(zhàn)
1.?使用MapReduce的Java接口實現(xiàn)經(jīng)典的WordCount
2.?wordcount運行過程解析
3.?MapReduce實現(xiàn)數(shù)據(jù)去重操作
4.?MapReduce實現(xiàn)數(shù)據(jù)排序
5.?MapReduce實現(xiàn)數(shù)據(jù)平均數(shù)據(jù)的計算
第二部分:
第1個主題:HBase架構設計和實現(xiàn)剖析
1.?HBase架構設計
2.?HBase中的表結構等
3.?HBase:Master、Region、Region?Server
第2個主題:HBase案例實戰(zhàn)1---使用HBase實現(xiàn)微博系統(tǒng)
1.?項目架構和設計
2.?開發(fā)環(huán)境搭建
3.?實現(xiàn)用戶登錄和注銷
4.“關注”功能的設計和實現(xiàn)
5.“發(fā)微博”功能的設計和實現(xiàn)
6.發(fā)布和運行整個基于HBase的微博系統(tǒng)
第3個主題:HBase與MapReduce
1.?HBase與MapReduce的關系
2.?HBase如何使用MapReduce
第4個主題:HBase案例實戰(zhàn)2---話單查詢與統(tǒng)計
1.?項目架構設計
2.?開發(fā)環(huán)境搭建
3.?話單入庫和查詢的設計與實現(xiàn)
4.統(tǒng)計功能的設計與實現(xiàn)
第5個主題:MapReduce高級實戰(zhàn)
1.?Split實現(xiàn)剖析
2.?自定義輸入的實現(xiàn)
3.?Reduce的partition?
4.?案例實戰(zhàn)
第6個主題:安裝和使用Hive
1.?Hive剖析
2.?安裝Hive
3.Hive的基本使用
第7個主題:Hive與HDFS、MapReduce
1.?Hive向HDFS存入結構化數(shù)據(jù)
2.?使用MySQL作為Hive的元數(shù)據(jù)庫
3.Hive與MapReduce
第8個主題:Hive案例實戰(zhàn)---數(shù)據(jù)統(tǒng)計
1.?項目架構設計
2.?表結構設計
3.數(shù)據(jù)的插入與統(tǒng)計實現(xiàn)
第三部分:
第1個主題:Hadoop集群配置:機架感知,開啟壓縮和任務均衡
Hadoop?集群安裝和開啟LZO壓縮
Hadoop?配置集群具備機架感知
Hadoop?集群開啟公平任務調(diào)度器
Hadoop?集群開啟能力任務調(diào)度器
第2個主題:Hadoop?集群維護與管理
查看集群狀態(tài)
HDFS數(shù)據(jù)管理
Mapreduce?任務管理
HDFS安全模式
模擬集群Namenode,jobtrack失效
添加刪除節(jié)點
數(shù)據(jù)平衡
文件數(shù)據(jù)跨集群拷貝
集群升級
第3個主題:Hadoop?集群規(guī)劃和測試
1.?集群規(guī)劃(硬件,系統(tǒng),網(wǎng)絡)
2.?集群性能測試
第4個主題:Hadoop?集群監(jiān)控和運維
1.?使用Ganglia?監(jiān)控Hadoop集群
2.?使用Cacti?監(jiān)控操作系統(tǒng)
第5個主題:Hadoop?HDFS高可用
Hadoop?元數(shù)據(jù)NFS備份方案
Hadoop?SecondaryNameNode備份方案
Hadoop?CheckpointNode備份方案
Hadoop?BackupNode備份方案
Hadoop?Cloudera?HA?Namenode?方案
第6個主題:Hadoop開發(fā)者之路
1.?Hadoop技能模型
2.?Hadoop開發(fā)者最佳學習路線和方式
3.Hadoop開發(fā)者最佳成長路線
?