 班級(jí)規(guī)模及環(huán)境--熱線:4008699035 手機(jī):15921673576( 微信同號(hào)) |
|
每期人數(shù)限3到5人。 |
| 上課時(shí)間和地點(diǎn) |
上課地點(diǎn)：【上海】：同濟(jì)大學(xué)(滬西)/新城金郡商務(wù)樓(11號(hào)線白銀路站) 【深圳分部】：電影大廈(地鐵一號(hào)線大劇院站)/深圳大學(xué)成教院 【北京分部】：北京中山學(xué)院/福鑫大樓 【南京分部】：金港大廈(和燕路) 【武漢分部】：佳源大廈（高新二路） 【成都分部】：領(lǐng)館區(qū)1號(hào)（中和大道） 【沈陽(yáng)分部】：沈陽(yáng)理工大學(xué)/六宅臻品 【鄭州分部】：鄭州大學(xué)/錦華大廈 【石家莊分部】：河北科技大學(xué)/瑞景大廈 【廣州分部】：廣糧大廈 【西安分部】：協(xié)同大廈
最近開(kāi)課時(shí)間(周末班/連續(xù)班/晚班）：2020年3月16日 |
| 實(shí)驗(yàn)設(shè)備 |
☆資深工程師授課
☆注重質(zhì)量
☆邊講邊練
☆合格學(xué)員免費(fèi)推薦工作
★實(shí)驗(yàn)設(shè)備請(qǐng)點(diǎn)擊這兒查看★ |
| 質(zhì)量保障 |
1、培訓(xùn)過(guò)程中，如有部分內(nèi)容理解不透或消化不好，可免費(fèi)在以后培訓(xùn)班中重聽(tīng)；
2、培訓(xùn)結(jié)束后,授課老師留給學(xué)員聯(lián)系方式,保障培訓(xùn)效果,免費(fèi)提供課后技術(shù)支持。
3、培訓(xùn)合格學(xué)員可享受免費(fèi)推薦就業(yè)機(jī)會(huì)。 |
課程大綱 |
一、 課程背景概述
大數(shù)據(jù)分析處理平臺(tái)技術(shù)已經(jīng)給新興互聯(lián)網(wǎng)企業(yè)（如電子商務(wù)網(wǎng)站、搜索引擎、社交網(wǎng)站、互聯(lián)網(wǎng)廣告服務(wù)提供商等）、銀行金融證券企業(yè)、電信運(yùn)營(yíng)商行業(yè)、高端裝備制造企業(yè)、IT基礎(chǔ)設(shè)施提供商等帶來(lái)了巨大的商業(yè)機(jī)遇，大數(shù)據(jù)平臺(tái)在整個(gè)企業(yè)的價(jià)值增值鏈中發(fā)揮著至關(guān)重要的決定性作用。互聯(lián)網(wǎng)+大數(shù)據(jù)時(shí)代的到來(lái)，一方面為企業(yè)帶來(lái)了潛在的巨大發(fā)展機(jī)遇，能有效推動(dòng)企業(yè)的信息化轉(zhuǎn)型升級(jí)和科學(xué)決策分析；另一方面由于企業(yè)缺乏大數(shù)據(jù)技術(shù)專業(yè)人才和大數(shù)據(jù)平臺(tái)建設(shè)實(shí)施經(jīng)驗(yàn)，對(duì)企業(yè)實(shí)行大數(shù)據(jù)發(fā)展戰(zhàn)略也帶來(lái)了較大的挑戰(zhàn)。本次課程帶大家領(lǐng)略大數(shù)據(jù)分析應(yīng)用技術(shù)的魅力和廣闊前景，系統(tǒng)地講解基于Hadoop和Spark處理平臺(tái)的大數(shù)據(jù)分析算法，以及分布式并行分析處理技術(shù)的應(yīng)用實(shí)踐，業(yè)界主流的大數(shù)據(jù)分析處理平臺(tái)、核心組件、關(guān)鍵技術(shù)、平臺(tái)架構(gòu)、大數(shù)據(jù)分析應(yīng)用解決方案以及案例集錦。結(jié)合業(yè)界使用最廣泛的主流大數(shù)據(jù)平臺(tái)技術(shù)，重點(diǎn)剖析基于Hadoop和Spark大數(shù)據(jù)技術(shù)生態(tài)圈的大數(shù)據(jù)分析處理技術(shù)，大型數(shù)據(jù)倉(cāng)庫(kù)平臺(tái)（HIVE）的技術(shù)架構(gòu)和分析應(yīng)用、大數(shù)據(jù)分析挖掘處理平臺(tái)（Mahout，MLib）的分析算法應(yīng)用與實(shí)戰(zhàn)，基于ELK架構(gòu)的大規(guī)模日志數(shù)據(jù)的分析處理以及用戶行為分析處理和電商數(shù)據(jù)挖掘推薦系統(tǒng)項(xiàng)目應(yīng)用案例。
通過(guò)本次課程培訓(xùn)讓學(xué)員掌握基于主流的Hadoop與Spark大數(shù)據(jù)平臺(tái)的數(shù)據(jù)分析技術(shù)，以及大數(shù)據(jù)分析項(xiàng)目的有效實(shí)施，培訓(xùn)過(guò)程中穿插著已經(jīng)落地的成功大數(shù)據(jù)分析項(xiàng)目實(shí)施應(yīng)用案例，分享互聯(lián)網(wǎng)行業(yè)大數(shù)據(jù)分析應(yīng)用的項(xiàng)目經(jīng)驗(yàn)，讓學(xué)員掌握如何構(gòu)建可行的大數(shù)據(jù)分析挖掘處理平臺(tái)解決方案。
二、 授課人群
1. 集團(tuán)企業(yè)大數(shù)據(jù)處理平臺(tái)技術(shù)架構(gòu)師
2. 集團(tuán)企業(yè)大數(shù)據(jù)分析項(xiàng)目工程師
3. 集團(tuán)企業(yè)數(shù)據(jù)倉(cāng)庫(kù)工程師
三、 培訓(xùn)目標(biāo)
本課程通過(guò)培訓(xùn)使學(xué)習(xí)者達(dá)到如下目標(biāo)：
1. 本課程讓學(xué)員充分掌握大數(shù)據(jù)分析處理平臺(tái)技術(shù)架構(gòu)、業(yè)界常用的大數(shù)據(jù)分析挖掘算法、大數(shù)據(jù)分析應(yīng)用實(shí)戰(zhàn)技能、國(guó)內(nèi)外主流的大數(shù)據(jù)分析處理技術(shù)在不同行業(yè)的解決方案，并以銀行金融業(yè)、電商行業(yè)、互聯(lián)網(wǎng)精準(zhǔn)營(yíng)銷行業(yè)的為例子闡述大數(shù)據(jù)分析算法及其技術(shù)平臺(tái)的實(shí)際應(yīng)用案例，以及對(duì)比剖析主流的大數(shù)據(jù)分析產(chǎn)品。
2. 讓學(xué)員掌握基于主流的大數(shù)據(jù)Hadoop平臺(tái)和Spark實(shí)時(shí)處理平臺(tái)的大數(shù)據(jù)分析處理平臺(tái)的技術(shù)架構(gòu)和實(shí)際分析挖掘處理應(yīng)用，并用結(jié)合實(shí)際的信息化業(yè)務(wù)系統(tǒng)案例進(jìn)行教學(xué)，講解利用Hadoop+Spark對(duì)行業(yè)大數(shù)據(jù)進(jìn)行存儲(chǔ)管理和分析挖掘的技術(shù)應(yīng)用，掌握基于Hadoop大數(shù)據(jù)平臺(tái)的并行挖掘處理技術(shù)和數(shù)據(jù)倉(cāng)庫(kù)應(yīng)用。深入講解包括大數(shù)據(jù)ETL處理、大數(shù)據(jù)倉(cāng)庫(kù)HIVE、大數(shù)據(jù)分布式并行挖掘處理平臺(tái)Mahout，基于Spark內(nèi)存計(jì)算的實(shí)時(shí)挖掘處理平臺(tái)MLib， 互聯(lián)網(wǎng)行業(yè)常用的ELK（ElasticSearch，Logstash，Kibana）日志分析系統(tǒng)解決方案，以及電商數(shù)據(jù)挖掘與推薦系統(tǒng)Oryx，并基于這些平臺(tái)展開(kāi)大數(shù)據(jù)分析挖掘與精準(zhǔn)推薦處理平臺(tái)在金融行業(yè)的實(shí)踐應(yīng)用。
3. 本課程采用技術(shù)原理與項(xiàng)目實(shí)戰(zhàn)相結(jié)合的方式進(jìn)行教學(xué)，在講授原理的過(guò)程中，穿插實(shí)際的系統(tǒng)操作，本課程講師也精心準(zhǔn)備的實(shí)際的應(yīng)用案例供學(xué)員動(dòng)手訓(xùn)練。
四、培訓(xùn)特色
定制授課+ 實(shí)戰(zhàn)案例訓(xùn)練+ 互動(dòng)咨詢討論，共1天，6課時(shí).
五、詳細(xì)大綱（講解和實(shí)驗(yàn)各占一半時(shí)間）
（注明：本次培訓(xùn)使用的基礎(chǔ)軟件，包括Linux操作系統(tǒng)，Hadoop集群軟件和Spark集群軟件，講師在課前一周會(huì)公布講義資料和實(shí)驗(yàn)平臺(tái)，請(qǐng)學(xué)員自備筆記本，參考配置CPU在i5及以上，內(nèi)存4GB及以上，硬盤可用存儲(chǔ)空間40GB及以上）
時(shí)間 授課內(nèi)容 動(dòng)手實(shí)驗(yàn)安排
第一天 1. 大型數(shù)據(jù)倉(cāng)庫(kù)HIVE集群平臺(tái)的應(yīng)用案例，Hive文件與記錄存儲(chǔ)格式、Hive大數(shù)據(jù)統(tǒng)計(jì)分析技術(shù)、Hive功能操作實(shí)踐，以及云計(jì)算數(shù)據(jù)中心的Hive大型數(shù)據(jù)倉(cāng)庫(kù)集群在電商數(shù)據(jù)、搜索引擎、日志分析、用戶行為分析、客戶分析，以及互聯(lián)網(wǎng)金融數(shù)據(jù)分析中的案例剖析
2. 大數(shù)據(jù)分析的數(shù)據(jù)整理、數(shù)據(jù)集成、數(shù)據(jù)抽取、轉(zhuǎn)換、加載，ETL工具平臺(tái)的應(yīng)用實(shí)踐與案例分享
3. 在互聯(lián)網(wǎng)電商平臺(tái)、互聯(lián)網(wǎng)金融平臺(tái)中針對(duì)用戶行為分析、客戶分析、個(gè)性化推薦、廣告精準(zhǔn)投放、產(chǎn)品營(yíng)銷應(yīng)用場(chǎng)景下常用的數(shù)據(jù)建模方法、建模過(guò)程、匹配算法、并行數(shù)據(jù)挖掘算法、原理、以及技術(shù)應(yīng)用。
4. 基于大數(shù)據(jù)集的機(jī)器學(xué)習(xí)算法，以及大數(shù)據(jù)的分類挖掘算法、聚類挖掘、統(tǒng)計(jì)學(xué)習(xí)、關(guān)聯(lián)分析挖掘和鏈接分析挖掘算法與技術(shù)在電商個(gè)性化推薦營(yíng)銷和銀行客戶分析中的實(shí)踐應(yīng)用
5. 業(yè)界常用的數(shù)據(jù)挖掘與分析算法及其應(yīng)用實(shí)踐，重點(diǎn)講解七大類算法的實(shí)現(xiàn)技術(shù)與應(yīng)用實(shí)踐：分類算法、聚類算法、關(guān)聯(lián)規(guī)則挖掘算法、回歸算法、進(jìn)化算法、協(xié)同過(guò)濾與推薦算法。
6. 針對(duì)互聯(lián)網(wǎng)金融、網(wǎng)絡(luò)銀行和電商等不同業(yè)務(wù)場(chǎng)景的數(shù)據(jù)分析需求，講解決策樹(shù)分類（C4.5）挖掘、K均值聚類（K-means）挖掘、支持向量機(jī)分類（SVM）挖掘、關(guān)聯(lián)規(guī)則挖掘（Apriori）、最大期望（EM）挖掘、鏈接分析（PageRank）挖掘、集成（AdaBoost）挖掘、K近鄰（KNN）分類挖掘、貝葉斯分類（Na?ve Bayes）挖掘、分類和回歸（CART）挖掘算法、基于Item的協(xié)同過(guò)濾算法和基于用戶的協(xié)同過(guò)濾算法的基本原理、應(yīng)用場(chǎng)景、實(shí)現(xiàn)技術(shù)、以及面向問(wèn)題解析的組合挖掘構(gòu)造方法，并結(jié)合業(yè)務(wù)需求剖析算法應(yīng)用以及大數(shù)據(jù)挖掘中間件系統(tǒng)。
7. 基于Hadoop平臺(tái)的分布式并行數(shù)據(jù)挖掘平臺(tái)Mahout的系統(tǒng)架構(gòu)、關(guān)鍵技術(shù)、核心組件的工作原理、安裝部署、配置調(diào)優(yōu)、二次應(yīng)用開(kāi)發(fā)實(shí)踐，Mahout大數(shù)據(jù)協(xié)同過(guò)濾分析、頻繁模式挖掘分析、聚類分析、分類分析、推薦分析應(yīng)用的實(shí)現(xiàn)方式，以及Hadoop+Mahout大數(shù)據(jù)挖掘平臺(tái)的應(yīng)用實(shí)踐案例，分別在電商日志分析、電商平臺(tái)商品推薦、電商平臺(tái)用戶推薦、金融與銀行理財(cái)產(chǎn)品的客戶流失預(yù)測(cè)、客戶分類分級(jí)挖掘、客戶屬性關(guān)聯(lián)挖掘業(yè)務(wù)中的應(yīng)用。
8. 互聯(lián)網(wǎng)用戶行為分析實(shí)踐案例，對(duì)客戶進(jìn)行360°刻畫(huà)，客戶分類分析，精準(zhǔn)廣告營(yíng)銷定位分析的實(shí)訓(xùn)案例。銀行信用卡客戶的分類分析，以及客戶流失預(yù)測(cè)分析，消費(fèi)行為分析的實(shí)踐案例
9. Spark大數(shù)據(jù)實(shí)時(shí)處理平臺(tái)的系統(tǒng)集群架構(gòu)、關(guān)鍵技術(shù)、核心組件的工作原理，Spark分布式集群的安裝部署、配置調(diào)優(yōu)、Spark SQL和MLib的算法應(yīng)用示例，及其在電商與支付平臺(tái)和運(yùn)營(yíng)日志中的應(yīng)用實(shí)踐案例。
10. ELK（Elasticsearch ，Logstash，Kibana）分布式日志分析挖掘平臺(tái)的系統(tǒng)架構(gòu)、關(guān)鍵技術(shù)和核心組件剖析，它在電商、互聯(lián)網(wǎng)金融平臺(tái)和第三方支付平臺(tái)，銀行應(yīng)用中的客戶行為分析挖掘與分析處理，預(yù)測(cè)客戶的興趣、愛(ài)好、產(chǎn)品關(guān)聯(lián)性、情感、推薦標(biāo)簽以及預(yù)測(cè)其在線消費(fèi)決策，并剖析講解客戶個(gè)性化營(yíng)銷的技術(shù)解決方案。
11. 基于大數(shù)據(jù)的推薦系統(tǒng)Oryx平臺(tái)的技術(shù)架構(gòu)、關(guān)鍵技術(shù)和核心算法組件，以及Oryx分布式集群在個(gè)性化推薦、精準(zhǔn)營(yíng)銷、精準(zhǔn)廣告投放領(lǐng)域中的實(shí)戰(zhàn)應(yīng)用，以及解決方案實(shí)施。
12. 針對(duì)當(dāng)前業(yè)務(wù)工作中遇到的大數(shù)據(jù)分析的需求、難點(diǎn)、痛點(diǎn)、瓶頸，以及解決之道，課堂討論預(yù)計(jì)可行的項(xiàng)目方案。講解某大型銀行的數(shù)據(jù)倉(cāng)庫(kù)與分析系統(tǒng)架構(gòu)，業(yè)務(wù)數(shù)據(jù)分析和數(shù)據(jù)統(tǒng)計(jì)分析與自動(dòng)化報(bào)表的項(xiàng)目實(shí)施案例。
13. 基于真實(shí)的互聯(lián)網(wǎng)數(shù)據(jù)和實(shí)驗(yàn)指導(dǎo)手冊(cè)在講師的引導(dǎo)下完成實(shí)際的項(xiàng)目案例，鞏固學(xué)過(guò)的大數(shù)據(jù)分析挖掘處理平臺(tái)技術(shù)知識(shí)以及應(yīng)用技能 1. VMware環(huán)境下部署配置CentOS虛擬機(jī)集群模擬真實(shí)的物理集群
2. 在CentOS虛擬集群上部署Hadoop平臺(tái)以及配置操作
3. 配置部署HIVE數(shù)據(jù)倉(cāng)庫(kù)集群，以及性能調(diào)優(yōu)實(shí)戰(zhàn)
4. 基于HIVE的大型數(shù)據(jù)倉(cāng)庫(kù)的解決方案
5. 數(shù)據(jù)挖掘算法程序的實(shí)現(xiàn)與運(yùn)行，并以用戶行為日志數(shù)據(jù)集為實(shí)驗(yàn)素材，基于Hadoop處理平臺(tái)利用不同的算法對(duì)用戶進(jìn)行分類、聚類以及推薦等實(shí)驗(yàn)操作，并得出相應(yīng)的結(jié)果
6. Mahout分布式并行挖掘平臺(tái)的實(shí)戰(zhàn)解決方案
7. 基于Spark與MLib的實(shí)時(shí)分析分析處理平臺(tái)的實(shí)戰(zhàn)解決方案，集群的部署、配置，分析算法的運(yùn)行調(diào)優(yōu)
8. 運(yùn)行Mahout和MLib中的每一類算法中的不同算法實(shí)現(xiàn)，并比較不同分析挖掘結(jié)果，掌握各個(gè)分析場(chǎng)景下的算法組合優(yōu)化
9. ELK日志分析與挖掘系統(tǒng)的實(shí)戰(zhàn)解決方案，基于真實(shí)日志數(shù)據(jù)集進(jìn)行分析
10. Oryx大數(shù)據(jù)推薦系統(tǒng)的實(shí)戰(zhàn)解決方案
11. 基于實(shí)驗(yàn)部署的VMware虛擬化集群管理軟件，以及Hadoop + HBase + ELK + HIVE + Mahout + Storm + Spark的大數(shù)據(jù)分析挖掘處理平臺(tái)集成解決方案的應(yīng)用實(shí)踐案例分享
12. 基于講解過(guò)的大數(shù)據(jù)分析挖掘平臺(tái)集成解決方案，設(shè)計(jì)實(shí)現(xiàn)一個(gè)真實(shí)的融合用戶歷史行為的數(shù)據(jù)搜索系統(tǒng)，日志分析與電商推薦系統(tǒng)應(yīng)用案例。
13. 互聯(lián)網(wǎng)電商和銀行金融業(yè)的客戶分析、支付分析、產(chǎn)品推薦分析、用戶行為分析、交易分析、預(yù)測(cè)分析的應(yīng)用解決方案。 |
|
|
首頁(yè) 課程表 在線聊 報(bào)名 講師 品牌 QQ聊 活動(dòng) 就業(yè)
