第一部份:Spark Streamin深度源碼剖析(上)
(1)Spark Streaming整體架構(gòu)剖析
(2)基于Receiver+Kafka接收數(shù)據(jù)的源碼剖析
(3)基于DStream生成RDD的源碼剖析
(4)基于JobGenerator生成Job的源碼剖析
第二部份:Spark Streaming深度源碼剖析(下)
(1)Spark Streaming Driver容錯(cuò)的源碼剖析
(2)Spark Streaming Executor容錯(cuò)的源碼剖析
(3)Spark Streaming State相關(guān)操作的源碼剖析
(4)Spark Streaming Window相關(guān)操作的源碼剖析
第三部份:互聯(lián)網(wǎng)公司用戶(hù)流量實(shí)時(shí)大盤(pán)實(shí)戰(zhàn)
(1)互聯(lián)網(wǎng)用戶(hù)流量分析業(yè)務(wù)介紹
(2)互聯(lián)網(wǎng)用戶(hù)流量分析架構(gòu)設(shè)計(jì):Spark Streaming+Kafka+HBase
(3)完成互聯(lián)網(wǎng)用戶(hù)流量指標(biāo)體系的開(kāi)發(fā)
(4)實(shí)時(shí)計(jì)算作業(yè)上線(xiàn)運(yùn)維:部署、代碼升級(jí)以及監(jiān)控
(5)對(duì)Spark Streaming作業(yè)進(jìn)行初步的性能優(yōu)化
(6)基于前端展示用戶(hù)流量分析大盤(pán)
第四部份:廣告系統(tǒng)實(shí)時(shí)數(shù)據(jù)平臺(tái)架構(gòu)實(shí)戰(zhàn)(上)
(1)廣告系統(tǒng)實(shí)時(shí)數(shù)據(jù)平臺(tái)的業(yè)務(wù)介紹以及架構(gòu)設(shè)計(jì)
(2)完成廣告用戶(hù)與客戶(hù)價(jià)值的實(shí)時(shí)數(shù)據(jù)指標(biāo)體系開(kāi)發(fā)
(3)完成廣告運(yùn)營(yíng)與營(yíng)銷(xiāo)活動(dòng)的實(shí)時(shí)數(shù)據(jù)指標(biāo)體系開(kāi)發(fā)
(4)基于廣告實(shí)時(shí)數(shù)據(jù)支持的點(diǎn)擊率預(yù)測(cè)
(5)基于廣告實(shí)時(shí)數(shù)據(jù)支持的精準(zhǔn)廣告營(yíng)銷(xiāo)
第五部份:廣告系統(tǒng)實(shí)時(shí)數(shù)據(jù)平臺(tái)架構(gòu)實(shí)戰(zhàn)(下)
(1)廣告系統(tǒng)實(shí)時(shí)數(shù)據(jù)平臺(tái)架構(gòu)優(yōu)化設(shè)計(jì)
(2)基于Spark Streaming checkpoint實(shí)現(xiàn)全流程的容錯(cuò)機(jī)制
(3)基于Spark Streaming實(shí)現(xiàn)全流程的exatcly once語(yǔ)義
(4)基于Kafka實(shí)現(xiàn)數(shù)據(jù)不丟失的技術(shù)方案
(5)基于前端頁(yè)面展示廣告數(shù)據(jù)分析
第六部份:微博熱點(diǎn)話(huà)題實(shí)時(shí)探測(cè)系統(tǒng)架構(gòu)實(shí)戰(zhàn)(上)
(1)微博熱點(diǎn)話(huà)題探測(cè)業(yè)務(wù)介紹
(2)微博熱點(diǎn)話(huà)題探測(cè)系統(tǒng)架構(gòu)設(shè)計(jì)
(3)基于Flume+Kafka完成實(shí)時(shí)微博數(shù)據(jù)的接入
(4)自己動(dòng)手改進(jìn)FP-Growth頻繁集挖掘算法
(5)基于改進(jìn)后的繁集挖掘算法完成熱點(diǎn)話(huà)題的實(shí)時(shí)探測(cè)
第七部份:微博熱點(diǎn)話(huà)題實(shí)時(shí)探測(cè)系統(tǒng)架構(gòu)實(shí)戰(zhàn)(下)
(1)基于Spark自己動(dòng)手實(shí)現(xiàn)word2vec算法
(2)基于自己實(shí)現(xiàn)的Spark word2vec算法實(shí)現(xiàn)關(guān)聯(lián)熱點(diǎn)話(huà)題挖掘
(3)基于Spark Streaming完成實(shí)時(shí)計(jì)算作業(yè)開(kāi)發(fā)
(4)基于前端頁(yè)面展示微博熱點(diǎn)話(huà)題
第八部份:微博社交關(guān)系實(shí)時(shí)挖掘平臺(tái)實(shí)戰(zhàn)(上)
(1)微博社交關(guān)系實(shí)時(shí)數(shù)據(jù)分析平臺(tái)業(yè)務(wù)介紹以及架構(gòu)設(shè)計(jì)
(2)Titan分布式圖數(shù)據(jù)庫(kù)介紹
(3)Cassandra分布式NoSQL數(shù)據(jù)庫(kù)介紹
(4)Elasticsearch分布式搜索引擎介紹
(5)基于Spark Streaming+GraphX+Titan完成微博社交關(guān)系挖掘
第九部份:微博社交關(guān)系實(shí)時(shí)挖掘平臺(tái)實(shí)戰(zhàn)(下)
(1)基于Spark Streaming+文本挖掘完成微博用戶(hù)的情感分析
(2)基于Spark Streaming完成微博用戶(hù)群分析
(3)基于Spark Streaming完成用戶(hù)城市地圖分析
(4)基于Spark Streaming完成熱門(mén)話(huà)題趨勢(shì)分析
(5)基于前端頁(yè)面展示微博社交數(shù)據(jù)
第十部份:股票交易分析實(shí)時(shí)大盤(pán)系統(tǒng)實(shí)戰(zhàn)
(1)股票分析業(yè)務(wù)介紹
(2)實(shí)時(shí)股票分析大盤(pán)系統(tǒng)架構(gòu)設(shè)計(jì)
(3)Druid分布式OLAP引擎介紹
(4)結(jié)合Spark Streaming + Druid完成股票數(shù)據(jù)實(shí)時(shí)分析
(5)結(jié)合Spark Streaming完成實(shí)時(shí)熱門(mén)股票排行
(6)結(jié)合Spark Streaming完成實(shí)時(shí)股票走勢(shì)預(yù)測(cè)
(7)基于前端頁(yè)面展示股票分析數(shù)據(jù)
第十一部份:實(shí)時(shí)用戶(hù)畫(huà)像系統(tǒng)架構(gòu)實(shí)戰(zhàn)
(1)實(shí)時(shí)用戶(hù)畫(huà)像組成分析
(2)實(shí)時(shí)用戶(hù)畫(huà)像的標(biāo)簽數(shù)據(jù)字典
(3)實(shí)時(shí)用戶(hù)畫(huà)像的興趣度模型
(4)基于Spark Streaming實(shí)現(xiàn)一套實(shí)時(shí)用戶(hù)畫(huà)像系統(tǒng)
(5)基于ElasticSearch對(duì)實(shí)時(shí)用戶(hù)畫(huà)像數(shù)據(jù)進(jìn)行分析
第十二部份:實(shí)時(shí)個(gè)性化推薦系統(tǒng)架構(gòu)實(shí)戰(zhàn)(上)
(1)基于Flume+Kafka實(shí)現(xiàn)用戶(hù)行為的實(shí)時(shí)采集與清洗
(2)基于實(shí)時(shí)用戶(hù)畫(huà)像構(gòu)建數(shù)據(jù)倉(cāng)庫(kù)
(3)針對(duì)元數(shù)據(jù)庫(kù)構(gòu)建實(shí)時(shí)索引
(4)基于Spark Streaming完成第一個(gè)版實(shí)時(shí)個(gè)性化推薦系統(tǒng)
第十三部份:實(shí)時(shí)個(gè)性化推薦系統(tǒng)架構(gòu)實(shí)戰(zhàn)(下)
(1)基于頻繁模式的選擇性集成分類(lèi)算法
(2)基于選擇性集成分類(lèi)算法和網(wǎng)頁(yè)對(duì)用戶(hù)進(jìn)行分類(lèi)以及興趣組構(gòu)建
(3)基于Spark Streaming+協(xié)同過(guò)濾算法實(shí)現(xiàn)的實(shí)時(shí)推薦系統(tǒng)
(4)基于相關(guān)性算法實(shí)現(xiàn)的實(shí)時(shí)個(gè)性化推薦冷啟動(dòng)優(yōu)化方案
|