時(shí)間 |
課程模塊 |
課程內(nèi)容 |
第一部份
【1】 |
|
1.?大數(shù)據(jù)的產(chǎn)生背景、發(fā)展歷程
2.?大數(shù)據(jù)和云計(jì)算的關(guān)系
3.?大數(shù)據(jù)應(yīng)用需求以及潛在價(jià)值分析
4.?業(yè)界最新的大數(shù)據(jù)技術(shù)發(fā)展態(tài)勢(shì)與應(yīng)用趨勢(shì)
5.?大數(shù)據(jù)項(xiàng)目的技術(shù)選型與架構(gòu)設(shè)計(jì)
6.?“互聯(lián)網(wǎng)+”時(shí)代下的電子商務(wù)、制造業(yè)、零售批發(fā)業(yè)、電信運(yùn)營(yíng)商、互聯(lián)網(wǎng)金融業(yè)、網(wǎng)上銀行、電子政務(wù)、移動(dòng)互聯(lián)網(wǎng)、教育信息化等行業(yè)應(yīng)用實(shí)踐與應(yīng)用案例剖析 |
業(yè)界主流的大數(shù)據(jù)技術(shù)產(chǎn)品與項(xiàng)目解決方案 |
1.?國(guó)內(nèi)外主流的大數(shù)據(jù)解決方案介紹
2.?當(dāng)前大數(shù)據(jù)解決方案與傳統(tǒng)數(shù)據(jù)庫(kù)方案的剖析比較
3.?Apache大數(shù)據(jù)平臺(tái)方案剖析
4.?CDH大數(shù)據(jù)平臺(tái)方案剖析
5.?HDP大數(shù)據(jù)平臺(tái)方案剖析
6.?開(kāi)源的大數(shù)據(jù)生態(tài)系統(tǒng)平臺(tái)剖析 |
Hadoop大數(shù)據(jù)平臺(tái)剖析 |
1.?Hadoop的發(fā)展歷程以及產(chǎn)業(yè)界的實(shí)際應(yīng)用介紹
2.?Hadoop大數(shù)據(jù)平臺(tái)架構(gòu)
3.?基于Hadoop平臺(tái)的PB級(jí)大數(shù)據(jù)存儲(chǔ)管理與分析處理的工作原理與機(jī)制
4.?Hadoop的核心組件剖析 |
第一部份
【2】 |
大數(shù)據(jù)分布式存儲(chǔ)系統(tǒng)原理及其應(yīng)用實(shí)踐 |
1.?分布式文件系統(tǒng)HDFS的簡(jiǎn)介
2.?HDFS系統(tǒng)的主從式平臺(tái)架構(gòu)和工作原理
3.?HDFS核心組件技術(shù)講解
4.?基于HDFS的大型存儲(chǔ)系統(tǒng)應(yīng)用開(kāi)發(fā)實(shí)戰(zhàn)
5.?HDFS集群的安裝、部署、配置與性能優(yōu)化實(shí)踐
6.?HDFS與Linux NFS3交互技術(shù)以及本地化部署應(yīng)用實(shí)踐
7.?分布式鍵值存儲(chǔ)系統(tǒng)的平臺(tái)架構(gòu)、核心技術(shù)以及應(yīng)用開(kāi)發(fā)
8.?PB級(jí)大數(shù)據(jù)存儲(chǔ)項(xiàng)目的案例分析 |
大數(shù)據(jù)MapReduce與Yarn并行處理平臺(tái) |
1.?MapReduce并行計(jì)算模型
2.?MapReduce作業(yè)執(zhí)行與調(diào)度技術(shù)
3.?第二代大數(shù)據(jù)計(jì)算框架Yarn的工作原理以及DAG并行執(zhí)行機(jī)制
4.?MapReduce應(yīng)用開(kāi)發(fā)環(huán)境的部署,以及大數(shù)據(jù)并行處理應(yīng)用程序開(kāi)發(fā)
5.?MapReduce高級(jí)編程技巧與性能優(yōu)化實(shí)踐
6.?MapReduce與Yarn大數(shù)據(jù)分析處理案例分析 |
Hadoop應(yīng)用實(shí)踐操作訓(xùn)練 |
1.?部署與配置HDFS,熟練操作HDFS SHELL,HDFS與NFS操作,以及HDFS API開(kāi)發(fā)實(shí)踐
2.?部署與配置MapReduce與Yarn及其開(kāi)發(fā)實(shí)踐
3.?Hadoop的Linux二次開(kāi)發(fā)環(huán)境部署與配置 |
第二部份
【1】 |
HBase分布式數(shù)據(jù)庫(kù)管理系統(tǒng) |
1.?NoSQL數(shù)據(jù)庫(kù)與NewSQL數(shù)據(jù)庫(kù)技術(shù)介紹,及其在半結(jié)構(gòu)化和非結(jié)構(gòu)化大數(shù)據(jù)方面的應(yīng)用實(shí)踐
2.?HBase分布式數(shù)據(jù)庫(kù)簡(jiǎn)介、數(shù)據(jù)模型以及工作原理
3.?HBase分布式數(shù)據(jù)庫(kù)集群的平臺(tái)架構(gòu)和關(guān)鍵技術(shù)剖析
4.?HBase應(yīng)用項(xiàng)目開(kāi)發(fā)技巧,以及客戶端開(kāi)發(fā)實(shí)戰(zhàn)
5.?HBase表設(shè)計(jì)與數(shù)據(jù)操作以及數(shù)據(jù)庫(kù)管理API調(diào)用
6.?HBase集群的安裝部署與配置優(yōu)化
7.?ZooKeeper分布式協(xié)調(diào)服務(wù)系統(tǒng)的工作原理、平臺(tái)架構(gòu)、集群部署與配置應(yīng)用實(shí)戰(zhàn)
8.?HBase集群的運(yùn)維與監(jiān)控管理 |
HBase半結(jié)構(gòu)化數(shù)據(jù)管理應(yīng)用實(shí)踐操作訓(xùn)練 |
1.?部署與配置HBase集群以及HBase的性能優(yōu)化
2.?部署與配置ZooKeeper分布式集群
3.?構(gòu)建HBase開(kāi)發(fā)環(huán)境
4.?HBase數(shù)據(jù)庫(kù)操作及項(xiàng)目實(shí)踐 |
第二部份
【2】 |
Hive大型數(shù)據(jù)倉(cāng)庫(kù)集群平臺(tái)及其應(yīng)用實(shí)踐 |
1.?基于Hadoop的大型分布式數(shù)據(jù)倉(cāng)庫(kù)基礎(chǔ)知識(shí),HIVE在行業(yè)中的數(shù)據(jù)倉(cāng)庫(kù)應(yīng)用案例
2.?Hive大數(shù)據(jù)倉(cāng)庫(kù)簡(jiǎn)介以及應(yīng)用介紹
3.?Hive數(shù)據(jù)倉(cāng)庫(kù)集群的平臺(tái)體系結(jié)構(gòu)、核心技術(shù)剖析
4.?Hive Server的工作原理、機(jī)制與應(yīng)用
5.?Hive數(shù)據(jù)倉(cāng)庫(kù)集群的安裝部署與配置優(yōu)化
6.?Hive應(yīng)用開(kāi)發(fā)技巧
7.?Hive SQL剖析與應(yīng)用實(shí)踐
8.?Hive數(shù)據(jù)倉(cāng)庫(kù)表與表分區(qū)、表操作、數(shù)據(jù)導(dǎo)入導(dǎo)出、客戶端操作技巧
9.?Hive數(shù)據(jù)倉(cāng)庫(kù)報(bào)表設(shè)計(jì)
10、Hive JDBC與ODBC的工作原理與實(shí)現(xiàn)機(jī)制
11、Hive HWI、CLI客戶端操作以及UDF應(yīng)用實(shí)踐 |
Mahout大數(shù)據(jù)分析挖掘平臺(tái)及其應(yīng)用實(shí)踐 |
1.?Mahout集群的安裝部署與配置優(yōu)化
2.?Mahout實(shí)現(xiàn)客戶分析,廣告分析,日志分析,規(guī)律預(yù)測(cè),關(guān)聯(lián)分析,定向推薦等應(yīng)用程序的開(kāi)發(fā)與應(yīng)用實(shí)戰(zhàn)
3.?Mahout性能優(yōu)化與分析挖掘算法參數(shù)的優(yōu)化技巧 |
Hive數(shù)據(jù)倉(cāng)庫(kù)與Mahout數(shù)據(jù)挖掘平臺(tái)的應(yīng)用實(shí)踐操作訓(xùn)練 |
1.?部署與配置HIVE集群,以及HIVE性能調(diào)優(yōu)
2.?構(gòu)建HIVE開(kāi)發(fā)環(huán)境
3.?HIVE數(shù)據(jù)倉(cāng)庫(kù)操作及項(xiàng)目實(shí)踐
4.?實(shí)現(xiàn)Mahout與Hadoop HBase的應(yīng)用集成,實(shí)現(xiàn)日志數(shù)據(jù)分析挖掘項(xiàng)目的應(yīng)用實(shí)踐 |
第三部份
【1】 |
Spark大數(shù)據(jù)實(shí)時(shí)處理平臺(tái)剖析 |
1.?Spark的發(fā)展歷程以及業(yè)界的實(shí)際應(yīng)用介紹
2.?Spark實(shí)時(shí)大數(shù)據(jù)處理平臺(tái)架構(gòu)
3.?Spark RDD內(nèi)存彈性分布式數(shù)據(jù)集的工作原理與機(jī)制
4.?Spark的核心組件剖析
5.?基于Spark的實(shí)時(shí)數(shù)據(jù)倉(cāng)庫(kù)與實(shí)時(shí)分析挖掘處理在行業(yè)中的應(yīng)用實(shí)踐案例 |
基于Spark的實(shí)時(shí)數(shù)據(jù)倉(cāng)庫(kù)和實(shí)時(shí)數(shù)據(jù)分析挖掘處理平臺(tái)的實(shí)現(xiàn)機(jī)制,以及SparkSQL,Spark Streaming,MLib,GraphX,SparkR的應(yīng)用實(shí)踐 |
1.?內(nèi)存計(jì)算模型和實(shí)時(shí)處理技術(shù)介紹
2.?Spark中各個(gè)分布式組件的處理框架及工作原理
3.?Spark SQL實(shí)時(shí)數(shù)據(jù)倉(cāng)庫(kù)的實(shí)現(xiàn)原理機(jī)制及應(yīng)用實(shí)踐
4.?Spark Streaming流式數(shù)據(jù)實(shí)時(shí)處理機(jī)制及應(yīng)用實(shí)踐
5.?Spark MLib實(shí)時(shí)機(jī)器學(xué)習(xí)算法應(yīng)用實(shí)踐與案例應(yīng)用
6.?Spark GraphX實(shí)時(shí)圖數(shù)據(jù)處理應(yīng)用實(shí)踐與社交網(wǎng)絡(luò)分析應(yīng)用案例
7.?SparkR的實(shí)現(xiàn)原理與應(yīng)用實(shí)踐
8.?Spark組件的應(yīng)用編程開(kāi)發(fā)實(shí)戰(zhàn)
9.?Spark與Hadoop的集成解決方案實(shí)踐 |
Spark平臺(tái)與各個(gè)組件的實(shí)踐操作訓(xùn)練 |
1.?部署與配置Spark集群,以及Spark性能調(diào)優(yōu)
2.?構(gòu)建Spark開(kāi)發(fā)環(huán)境
3.?Spark程序運(yùn)行以及操作
4.?Spark SQL應(yīng)用操作實(shí)訓(xùn)
5.?Spark Streaming應(yīng)用操作實(shí)訓(xùn)
6.?Spark MLib應(yīng)用操作實(shí)訓(xùn)
7.?Spark GraphX應(yīng)用操作實(shí)訓(xùn)
8.?SparkR應(yīng)用操作實(shí)訓(xùn)
9.?Spark與HBase集成數(shù)據(jù)分析實(shí)驗(yàn)實(shí)訓(xùn) |
第三部份
【2】 |
Storm流式數(shù)據(jù)處理平臺(tái)架構(gòu)及其應(yīng)用實(shí)踐 |
1.?Storm流式處理系統(tǒng)的平臺(tái)架構(gòu)和工作原理
2.?Storm關(guān)鍵技術(shù)剖析
3.?Storm集群安裝部署與配置優(yōu)化
4.?Storm日志流數(shù)據(jù)分析項(xiàng)目應(yīng)用實(shí)戰(zhàn)
5.?Storm和Hadoop,Spark的應(yīng)用集成項(xiàng)目實(shí)踐 |
大數(shù)據(jù)智能化ETL操作工具以及Hadoop集群運(yùn)維監(jiān)控工具平臺(tái)應(yīng)用 |
1.?Hadoop與DBMS之間數(shù)據(jù)交互工具的應(yīng)用
2.?Sqoop導(dǎo)入導(dǎo)出數(shù)據(jù)的工作原理,以及Sqoop集群安裝部署與配置
3.?Kettle集群的平臺(tái)架構(gòu)、核心技術(shù)工作原理以及應(yīng)用案例
4.?Kettle大數(shù)據(jù)ETL工具的部署與配置,以及應(yīng)用實(shí)戰(zhàn)
5.?利用Sqoop實(shí)現(xiàn)MySQL與Hadoop集群之間的數(shù)據(jù)導(dǎo)入導(dǎo)出交互程序
6.?Hadoop大數(shù)據(jù)運(yùn)維監(jiān)控管理系統(tǒng)HUE平臺(tái)的安裝部署與應(yīng)用配置
7.?Hadoop運(yùn)維管理監(jiān)控系統(tǒng)Ambari平臺(tái)的安裝部署與應(yīng)用配置
8.?Hadoop集群運(yùn)維系統(tǒng)Ganglia, Nagios的安裝部署與應(yīng)用配置 |
大數(shù)據(jù)分布式采集與分布式消息訂閱系統(tǒng)及其應(yīng)用實(shí)踐(可選) |
1.?Flume-NG數(shù)據(jù)采集系統(tǒng)的數(shù)據(jù)流模型、平臺(tái)架構(gòu)、集群部署與配置應(yīng)用實(shí)戰(zhàn)
2.?Kafka分布式消息訂閱系統(tǒng)的應(yīng)用介紹、平臺(tái)架構(gòu)、集群部署與配置應(yīng)用實(shí)戰(zhàn) |
內(nèi)存數(shù)據(jù)庫(kù)管理系統(tǒng)及其應(yīng)用實(shí)踐(可選) |
1.?Impala實(shí)時(shí)查詢系統(tǒng)平臺(tái)架構(gòu)、核心關(guān)鍵技術(shù)剖析
2.?Impala實(shí)時(shí)查詢系統(tǒng)的部署與應(yīng)用開(kāi)發(fā)實(shí)踐
3.?Redis內(nèi)存數(shù)據(jù)庫(kù)集群架構(gòu)以及核心技術(shù)剖析
4.?Redis集群的部署與應(yīng)用開(kāi)發(fā)實(shí)戰(zhàn)與案例分析 |
Cassandra數(shù)據(jù)管理系統(tǒng)應(yīng)用實(shí)踐(可選) |
1.?Cassandra集群的平臺(tái)架構(gòu)以及核心關(guān)鍵技術(shù)
2.?Cassandra一致性哈希算法與數(shù)據(jù)對(duì)象分布策略
3.?Cassandra集群的安裝部署與配置優(yōu)化
4.?Cassandra應(yīng)用開(kāi)發(fā)實(shí)戰(zhàn)與案例分析 |
大數(shù)據(jù)項(xiàng)目應(yīng)用完整實(shí)踐與咨詢討論 |
1.?根據(jù)講師布置的實(shí)際應(yīng)用案例,開(kāi)展大數(shù)據(jù)完整項(xiàng)目部署設(shè)計(jì)和應(yīng)用開(kāi)發(fā)實(shí)踐
2.?大數(shù)據(jù)項(xiàng)目的需求分析、應(yīng)用實(shí)施以及解決方案分享咨詢與交流討論 |
學(xué)習(xí)考核與行業(yè)經(jīng)驗(yàn)交流 |