班級規(guī)模及環(huán)境--熱線:4008699035 手機(jī):15921673576( 微信同號) |
每期人數(shù)限3到5人。 |
上課時間和地點 |
上課地點:【上?!浚和瑵?jì)大學(xué)(滬西)/新城金郡商務(wù)樓(11號線白銀路站) 【深圳分部】:電影大廈(地鐵一號線大劇院站)/深圳大學(xué)成教院 【北京分部】:北京中山學(xué)院/福鑫大樓 【南京分部】:金港大廈(和燕路) 【武漢分部】:佳源大廈(高新二路) 【成都分部】:領(lǐng)館區(qū)1號(中和大道) 【沈陽分部】:沈陽理工大學(xué)/六宅臻品 【鄭州分部】:鄭州大學(xué)/錦華大廈 【石家莊分部】:河北科技大學(xué)/瑞景大廈 【廣州分部】:廣糧大廈 【西安分部】:協(xié)同大廈
最近開課時間(周末班/連續(xù)班/晚班):2020年3月16日 |
實驗設(shè)備 |
☆資深工程師授課
☆注重質(zhì)量
☆邊講邊練
☆合格學(xué)員免費(fèi)推薦工作
★實驗設(shè)備請點擊這兒查看★ |
質(zhì)量保障 |
1、培訓(xùn)過程中,如有部分內(nèi)容理解不透或消化不好,可免費(fèi)在以后培訓(xùn)班中重聽;
2、培訓(xùn)結(jié)束后,授課老師留給學(xué)員聯(lián)系方式,保障培訓(xùn)效果,免費(fèi)提供課后技術(shù)支持。
3、培訓(xùn)合格學(xué)員可享受免費(fèi)推薦就業(yè)機(jī)會。 |
課程大綱 |
目標(biāo)收益
本課程將為大家全面而又深入的介紹大數(shù)據(jù)平臺的構(gòu)建流程,涉及分布式數(shù)據(jù)收集,大數(shù)據(jù)存儲,資源管理及分布式計算框架等。本課程重點以Hadoop和Spark兩大生態(tài)系統(tǒng)作為基準(zhǔn)進(jìn)行介紹,涉及Flume, HDFS, Hbase,YARN,MapReduce,Hive, Zookeeper, Spark,Storm,Spark Streaming等主流的大數(shù)據(jù)開源系統(tǒng)架構(gòu)及應(yīng)用經(jīng)驗。
培訓(xùn)對象
各類 IT/軟件企業(yè)和研發(fā)機(jī)構(gòu)的軟件架構(gòu)師、軟件設(shè)計師、程序員。對于懷有設(shè)計疑問和問題,需要梳理解答的團(tuán)隊和個人,效果最佳。
學(xué)員基礎(chǔ)
了解Java語言、Linux系統(tǒng);
課程大綱
主題內(nèi)容
大數(shù)據(jù)架構(gòu)概述1.1 大數(shù)據(jù)層級架構(gòu)及各層軟件設(shè)計要求,包括數(shù)據(jù)收集、存儲、計算框、應(yīng)用
1.2 Hadoop生態(tài)系統(tǒng)概述以及版本演化,并給出版本選擇建議。
1.3 Spark生態(tài)系統(tǒng)概述及其特點,并與Hadoop對比
數(shù)據(jù)收集系統(tǒng)Flume與Sqoop2. 使用flume和sqoop兩個系統(tǒng)將外部流式數(shù)據(jù)(比如網(wǎng)站日志,用戶行為數(shù)據(jù)等)、關(guān)系型數(shù)據(jù)庫(比如MySQL、Oracle等)中的數(shù)據(jù)導(dǎo)入Hadoop中進(jìn)行分析和挖掘
大數(shù)據(jù)存儲系統(tǒng)HDFS與HBase3.1與HDFS 1.0進(jìn)行對比介紹2.0原理、特性與基本架構(gòu)(快照、緩存、異構(gòu)存儲)。
3.2 HBase原理,基本架構(gòu)與案例分析
3.3 HBase應(yīng)用場景、原理和架構(gòu),典型應(yīng)用案例(互聯(lián)網(wǎng)、銀行)
集群資源管理與調(diào)度系統(tǒng)4. 介紹 YARN應(yīng)用場景、基本架構(gòu)與資源調(diào)度
Zookeeper部署及典型應(yīng)用5. 介紹Zookeeper是什么,基本原理及在應(yīng)用
大數(shù)據(jù)計算平臺介紹主流的三大類大數(shù)據(jù)計算框架,分別是批處理、交互式計算和流式計算框架,并選取當(dāng)下主流的開源實現(xiàn)進(jìn)行介紹。
6.1 批處理計算框架
(1)MapReduce 2.0基本原理與架構(gòu)、程序編寫(使用java、C++、php語言)。
(2)數(shù)據(jù)分析系統(tǒng)Hive與Pig應(yīng)用與比較,如何使用其中的海量數(shù)據(jù)
(3)Spark計算框架,背景及應(yīng)用案例
6.2 交互式計算框架,Impala和presto應(yīng)用場景,基本架構(gòu)和典型應(yīng)用案例
6.3 流式/實時計算框架,storm、Spark Streaming基本架構(gòu)特點,及應(yīng)用案例
數(shù)據(jù)挖掘與機(jī)器學(xué)習(xí)庫7. Mahout與MLlib兩個主流的分布式數(shù)據(jù)挖掘與機(jī)器學(xué)習(xí)庫的實現(xiàn)以及應(yīng)用案例。 |
|
|
|
|
|
|