班級規(guī)模及環(huán)境--熱線:4008699035 手機:15921673576( 微信同號) |
每個班級的人數(shù)限3到5人,互動授課, 保障效果,小班授課。 |
上間和地點 |
上部份地點:【上?!客瑵髮W(滬西)/新城金郡商務樓(11號線白銀路站)【深圳分部】:電影大廈(地鐵一號線大劇院站)/深圳大學成教院【北京分部】:北京中山學院/福鑫大樓【南京分部】:金港大廈(和燕路)【武漢分部】:佳源大廈(高新二路)【成都分部】:領館區(qū)1號(中和大道)【沈陽分部】:沈陽理工大學/六宅臻品【鄭州分部】:鄭州大學/錦華大廈【石家莊分部】:河北科技大學/瑞景大廈 最近開間(周末班/連續(xù)班/晚班):2019年1月26日 |
實驗設備 |
◆小班教學,教學效果好 ☆注重質(zhì)量☆邊講邊練 ☆合格學員免費推薦工作 ★實驗設備請點擊這兒查看★ |
質(zhì)量保障 |
1、培訓過程中,如有部分內(nèi)容理解不透或消化不好,可免費在以后培訓班中重聽; 2、培訓結束后,授課老師留給學員聯(lián)系方式,保障培訓效果,免費提供課后技術支持。 3、培訓合格學員可享受免費推薦就業(yè)機會?!詈细駥W員免費頒發(fā)相關工程師等資格證書,提升職業(yè)資質(zhì)。專注高端技術培訓15年,端海學員的能力得到大家的認同,受到用人單位的廣泛贊譽,端海的證書受到廣泛認可。 |
部份程大綱 |
|
- 課程信息
當下是大數(shù)據(jù)時代,為構建大數(shù)據(jù)平臺,需要對分布式數(shù)據(jù)收集,大數(shù)據(jù)存儲,分布式計算,資源管理等系統(tǒng)有全面而又深入的理解。眾所周知,大數(shù)據(jù)源自于互聯(lián)網(wǎng)行業(yè),目前互聯(lián)網(wǎng)公司已有一套完善的大數(shù)據(jù)平臺建設方案,大部分選用開源的Hadoop和Spark兩大生態(tài)系統(tǒng),本課程正是以這兩套系統(tǒng)為主介紹大數(shù)據(jù)平臺及架構的構建策略及經(jīng)驗。
- 培訓特色
當下是大數(shù)據(jù)時代,為構建大數(shù)據(jù)平臺,需要對分布式數(shù)據(jù)收集,大數(shù)據(jù)存儲,分布式計算,資源管理等系統(tǒng)有全面而又深入的理解。眾所周知,大數(shù)據(jù)源自于互聯(lián)網(wǎng)行業(yè),目前互聯(lián)網(wǎng)公司已有一套完善的大數(shù)據(jù)平臺建設方案,大部分選用開源的Hadoop和Spark兩大生態(tài)系統(tǒng),本課程正是以這兩套系統(tǒng)為主介紹大數(shù)據(jù)平臺及架構的構建策略及經(jīng)驗。
- 目標收益
本課程將為大家全面而又深入的介紹大數(shù)據(jù)平臺的構建流程,涉及分布式數(shù)據(jù)收集,大數(shù)據(jù)存儲,資源管理及分布式計算框架等。本課程重點以Hadoop和Spark兩大生態(tài)系統(tǒng)作為基準進行介紹,涉及Flume,HDFS,Hbase,YARN,MapReduce,Hive,Zookeeper,Spark,Storm,SparkStreaming等主流的大數(shù)據(jù)開源系統(tǒng)架構及應用經(jīng)驗。
- 培訓對象
- 各類IT/軟件企業(yè)和研發(fā)機構的軟件架構師、軟件設計師、程序員。對于懷有設計疑問和問題,需要梳理解答的團隊和個人,效果最佳。
- 學員基礎
- 了解Java語言、Linux系統(tǒng);
- 主題 內(nèi)容
大數(shù)據(jù)架構概述
- 1.1大數(shù)據(jù)層級架構及各層軟件設計要求,包括數(shù)據(jù)收集、存儲、計算框、應用
1.2 Hadoop生態(tài)系統(tǒng)概述以及版本演化,并給出版本選擇建議。
1.3 Spark生態(tài)系統(tǒng)概述及其特點,并與Hadoop對比
- 數(shù)據(jù)收集系統(tǒng)Flume與Sqoop
- 2.1使用flume和sqoop兩個系統(tǒng)將外部流式數(shù)據(jù)(比如網(wǎng)站日志,用戶行為數(shù)據(jù)等)、關系型數(shù)據(jù)庫(比如MySQL、Oracle等)中的數(shù)據(jù)導入Hadoop中進行分析和挖掘
- 大數(shù)據(jù)存儲系統(tǒng)HDFS與HBase
- 3.1 與HDFS1.0進行對比介紹2.0原理、特性與基本架構(快照、緩存、異構存儲)。
3.2 HBase原理,基本架構與案例分析
3.3 HBase應用場景、原理和架構,典型應用案例(互聯(lián)網(wǎng)、銀行)
- 集群資源管理與調(diào)度系統(tǒng)
- 4.1 介紹YARN應用場景、基本架構與資源調(diào)度
- Zookeeper部署及典型應用
- 5.1 介紹Zookeeper是什么,基本原理及在應用
- 大數(shù)據(jù)計算平臺
- 介紹主流的三大類大數(shù)據(jù)計算框架,分別是批處理、交互式計算和流式計算框架,并選取當下主流的開源實現(xiàn)進行介紹。
6.1 批處理計算框架
6.1.1 MapReduce2.0基本原理與架構、程序編寫(使用java、C++、php語言)
6.1.2 數(shù)據(jù)分析系統(tǒng)Hive與Pig應用與比較,如何使用其中的海量數(shù)據(jù)
6.1.3 Spark計算框架,背景及應用案例
6.2 交互式計算框架,Impala和presto應用場景,基本架構和典型應用案例
6.3 流式/實時計算框架,storm、SparkStreaming基本架構特點,及應用案例
- 數(shù)據(jù)挖掘與機器學習庫
- 7.1 Mahout與MLlib兩個主流的分布式數(shù)據(jù)挖掘與機器學習庫的實現(xiàn)以及應用案例。
|