 班級(jí)規(guī)模及環(huán)境--熱線(xiàn):4008699035 手機(jī):15921673576( 微信同號(hào)) |
|
每期人數(shù)限3到5人。 |
| 上課時(shí)間和地點(diǎn) |
上課地點(diǎn)：【上海】：同濟(jì)大學(xué)(滬西)/新城金郡商務(wù)樓(11號(hào)線(xiàn)白銀路站) 【深圳分部】：電影大廈(地鐵一號(hào)線(xiàn)大劇院站)/深圳大學(xué)成教院 【北京分部】：北京中山學(xué)院/福鑫大樓 【南京分部】：金港大廈(和燕路) 【武漢分部】：佳源大廈（高新二路） 【成都分部】：領(lǐng)館區(qū)1號(hào)（中和大道） 【沈陽(yáng)分部】：沈陽(yáng)理工大學(xué)/六宅臻品 【鄭州分部】：鄭州大學(xué)/錦華大廈 【石家莊分部】：河北科技大學(xué)/瑞景大廈 【廣州分部】：廣糧大廈 【西安分部】：協(xié)同大廈
最近開(kāi)課時(shí)間(周末班/連續(xù)班/晚班）：2020年3月16日 |
| 實(shí)驗(yàn)設(shè)備 |
☆資深工程師授課
☆注重質(zhì)量
☆邊講邊練
☆合格學(xué)員免費(fèi)推薦工作
★實(shí)驗(yàn)設(shè)備請(qǐng)點(diǎn)擊這兒查看★ |
| 質(zhì)量保障 |
1、培訓(xùn)過(guò)程中，如有部分內(nèi)容理解不透或消化不好，可免費(fèi)在以后培訓(xùn)班中重聽(tīng)；
2、培訓(xùn)結(jié)束后,授課老師留給學(xué)員聯(lián)系方式,保障培訓(xùn)效果,免費(fèi)提供課后技術(shù)支持。
3、培訓(xùn)合格學(xué)員可享受免費(fèi)推薦就業(yè)機(jī)會(huì)。 |
課程大綱 |
模塊一 Spark
生態(tài)介紹 ? Mapreduce、storm和spark模型的比較和使用場(chǎng)景介紹
? Spark產(chǎn)生背景
? Spark（內(nèi)存計(jì)算框架）
? SparkSteaming（流式計(jì)算框架）
? Spark SQL（ad-hoc）
? Mllib（MachineLearning）
? GraphX（bagel將被代）
? DlinkDB介紹
? SparkR介紹
模塊二 Spark
安裝部署 ? Spark安裝簡(jiǎn)介
? Spark的源碼編譯
? Spark Standalone安裝
? Spark應(yīng)用程序部署工具spark-submit
? Spark的高可用性部署
模塊三 Spark
運(yùn)行架構(gòu)和解析 ? Spark的運(yùn)行架構(gòu)
? 基本術(shù)語(yǔ)
? 運(yùn)行架構(gòu)
? Spark on Standalone運(yùn)行過(guò)程
? Spark on YARN 運(yùn)行過(guò)程
? Spark運(yùn)行實(shí)例解析
? Spark on Standalone實(shí)例解析
? Spark on YARN實(shí)例解析
? 比較 Standalone與YARN模式下的優(yōu)缺點(diǎn)
模塊四 Spark
scala編程 ? Scala基本語(yǔ)法與高階語(yǔ)法
? Scala基本語(yǔ)法
? Scala開(kāi)發(fā)環(huán)境搭建
? Scala開(kāi)發(fā)Spark應(yīng)用程序
? 使用java編程
? 使用scala編程
? 使用python編程
模塊五 Spark
編程模型和解析 ? Spark的編程模型
? Spark編程模型解析
? RDD的特點(diǎn)、操作、依賴(lài)關(guān)系
? Spark應(yīng)用程序的配置
? Spark的架構(gòu)
? spark的容錯(cuò)機(jī)制
? 數(shù)據(jù)的本地性
? 緩存策略介紹
寬依賴(lài)與窄依賴(lài)
模塊六 Spark 數(shù)據(jù)挖掘 ? Mllib的介紹
? graphX核心原理
? table operator和graph operator區(qū)別
? vertices、edges和triplets介紹
? 構(gòu)建一個(gè)graph
? SparkR原理
? SparkR實(shí)戰(zhàn)
模塊七 Spark Streaming原理和實(shí)踐 ? Spark Streaming與Strom的區(qū)別
? Kafka的部署
? Kafka與Spark Streaming的整合
? Spark Streaming原理
? Spark流式處理架構(gòu)
? DStream的特點(diǎn)
? Dstream的操作和RDD的區(qū)別
? 帶狀態(tài)的transformation與無(wú)狀態(tài)transformation
? Spark Streaming的優(yōu)化
? Spark Streaming實(shí)例
? Streaming的容錯(cuò)機(jī)制
? streaming在yarn模式下的注意事項(xiàng)
對(duì)于需結(jié)合第三方存儲(chǔ)機(jī)制的與流式處理方案
? 文本實(shí)例
? 網(wǎng)絡(luò)數(shù)據(jù)處理
? Kafka+Spark Streaming實(shí)現(xiàn)日志的實(shí)時(shí)分析案例
模塊八 Spark的優(yōu)化 ? 序列化優(yōu)化——Kryo
? Spark參數(shù)優(yōu)化實(shí)戰(zhàn)
? Spark 任務(wù)的均勻分布策略
? Partition key傾斜的解決方案
? Spark任務(wù)的監(jiān)控
? GC的優(yōu)化
? Spark Streaming吞吐量?jī)?yōu)化
? Spark RDD使用內(nèi)存的優(yōu)化策略
? Spark在使用中的感想分享
模塊九 Spark的數(shù)據(jù)源 ? Spark與HDFS的整合
? HDFS RDD原理和實(shí)現(xiàn)
? Spark與Hbase的整合
? Spark與Cassendera整合
? Hbase RDD的分區(qū)讀取
? Hbase RDD的原理和實(shí)現(xiàn)
? Spark parallelism RDD的工作機(jī)制
模塊十 Spark Streaming應(yīng)用及案例分析 ? Spark Streaming產(chǎn)生動(dòng)機(jī)
???Spark Streaming程序設(shè)計(jì)
（1）創(chuàng)建DStream
（2）基于DStream進(jìn)行流式處理
? Spark Streaming容錯(cuò)與性能優(yōu)化
（1）Spark Streaming容錯(cuò)機(jī)制
（2）如何對(duì)spark Streaming進(jìn)行優(yōu)化
???Spark Streaming案例分析
基于Spark Streaming的用戶(hù)標(biāo)簽系統(tǒng)，內(nèi)容包括項(xiàng)目背景，項(xiàng)目架構(gòu)以及實(shí)施方法
模塊十一 典型項(xiàng)目
案例實(shí)戰(zhàn) ? 基于spark日志分析
? 個(gè)性化推薦系統(tǒng)：帶你揭開(kāi)其神秘面紗
? 在線(xiàn)投放引擎
? 揭開(kāi)淘寶點(diǎn)擊推薦系統(tǒng)的神秘面紗
? 淘寶數(shù)據(jù)服務(wù)架構(gòu)—實(shí)時(shí)計(jì)算平臺(tái) |
|
|
|
|
首頁(yè) 課程表 在線(xiàn)聊 報(bào)名 講師 品牌 QQ聊 活動(dòng) 就業(yè)
