近年來,大數(shù)據(jù)分析逐漸火熱,成為提升企業(yè)競爭力的重要手段。由于傳統(tǒng)關(guān)系型數(shù)據(jù)庫有難以擴展的弱點,以Hadoop為主流的新興分布式集群解決方案逐漸擊敗傳統(tǒng)數(shù)據(jù)庫,成為大數(shù)據(jù)分析領(lǐng)域的霸主。在煉數(shù)成金的基礎(chǔ)課程《Hadoop數(shù)據(jù)分析平臺》里,對Hadoop的兩大支柱技術(shù)HDFS和Map-Reduce以及Hadoop生態(tài)圈的各個子產(chǎn)品作了詳細(xì)的介紹和學(xué)習(xí)。
我們致力于向?qū)W員描畫若干真正的企業(yè)級數(shù)據(jù)分析項目的全貌,我們會分別站在甲方——需求者,乙方團隊——數(shù)據(jù)架構(gòu)師、算法設(shè)計師、IT系統(tǒng)架構(gòu)師、開發(fā)工程師等多個角色的角度來審視項目整個過程,向大家展示項目的業(yè)務(wù)背景,數(shù)據(jù)建模,算法設(shè)計,集群設(shè)計和部署,系統(tǒng)開發(fā)編碼等過程的全貌,使大家有親歷其境的感覺,猶如自己身處于項目團隊之中,熟悉大數(shù)據(jù)分析項目的完成工序。無論你的個人目標(biāo)是何種角色,都能在課程中有所收獲。
本課程覆蓋互聯(lián)網(wǎng),電子商務(wù),電信運營商,金融行業(yè),地理位置應(yīng)用等多個領(lǐng)域,每一次課就是一個獨立的項目,這些實戰(zhàn)內(nèi)容將可以使大家在基礎(chǔ)課程之后,更加理解Hadoop在實際中是如何使用,同時吸取跨行業(yè)的項目知識經(jīng)驗,對將來的個人發(fā)展將大有裨益。
第1節(jié) Hadoop基礎(chǔ)回顧
第2節(jié) Hadoop應(yīng)用情況綜述
第3節(jié) 巨型網(wǎng)站日志系統(tǒng)分析,提取KPI數(shù)據(jù)(Map-Reduce)
第4節(jié) 電信運營商LBS應(yīng)用,分析手機用戶移動軌跡(Map-Reduce)
第5節(jié) 電信運營商用戶分析,通過通話指紋判斷重入網(wǎng)用戶(map-Reduce)
第6節(jié) 電子商務(wù)推薦系統(tǒng)設(shè)計(Map-Reduce)
第7節(jié) 更復(fù)雜的推薦系統(tǒng)場景(Mahout)
第8節(jié) 社交網(wǎng)絡(luò),判斷微博用戶關(guān)系親疏程度,發(fā)現(xiàn)社區(qū)(Pig)
第9節(jié) 在社交網(wǎng)絡(luò)中衡量節(jié)點的重要程度(Map-Reduce)
第10節(jié) 聚類算法應(yīng)用,分析優(yōu)質(zhì)客戶(Map-Reduce,Mahout)
第11節(jié) 金融數(shù)據(jù)分析,從歷史數(shù)據(jù)中提取逆回購信息(Hive)
第12節(jié) 通過數(shù)據(jù)分析制定股票策略(Map-Reduce,Hive)
第13節(jié) GPS應(yīng)用,簽到數(shù)據(jù)分析(Pig)
第14節(jié) Map-Reduce全排序?qū)崿F(xiàn)和優(yōu)化
第15節(jié) 中間件開發(fā),讓多個Hadoop集群協(xié)作起來 |