 班級(jí)規(guī)模及環(huán)境--熱線:4008699035 手機(jī):15921673576( 微信同號(hào)) |
|
每期人數(shù)限3到5人。 |
| 上課時(shí)間和地點(diǎn) |
上課地點(diǎn)：【上海】：同濟(jì)大學(xué)(滬西)/新城金郡商務(wù)樓(11號(hào)線白銀路站) 【深圳分部】：電影大廈(地鐵一號(hào)線大劇院站)/深圳大學(xué)成教院 【北京分部】：北京中山學(xué)院/福鑫大樓 【南京分部】：金港大廈(和燕路) 【武漢分部】：佳源大廈（高新二路） 【成都分部】：領(lǐng)館區(qū)1號(hào)（中和大道） 【沈陽(yáng)分部】：沈陽(yáng)理工大學(xué)/六宅臻品 【鄭州分部】：鄭州大學(xué)/錦華大廈 【石家莊分部】：河北科技大學(xué)/瑞景大廈 【廣州分部】：廣糧大廈 【西安分部】：協(xié)同大廈
最近開(kāi)課時(shí)間(周末班/連續(xù)班/晚班）：2020年3月16日 |
| 實(shí)驗(yàn)設(shè)備 |
☆資深工程師授課
☆注重質(zhì)量
☆邊講邊練
☆合格學(xué)員免費(fèi)推薦工作
★實(shí)驗(yàn)設(shè)備請(qǐng)點(diǎn)擊這兒查看★ |
| 質(zhì)量保障 |
1、培訓(xùn)過(guò)程中，如有部分內(nèi)容理解不透或消化不好，可免費(fèi)在以后培訓(xùn)班中重聽(tīng)；
2、培訓(xùn)結(jié)束后,授課老師留給學(xué)員聯(lián)系方式,保障培訓(xùn)效果,免費(fèi)提供課后技術(shù)支持。
3、培訓(xùn)合格學(xué)員可享受免費(fèi)推薦就業(yè)機(jī)會(huì)。 |
課程大綱 |
一、 應(yīng)答簡(jiǎn)介
針對(duì)貴方培訓(xùn)需求之《Hadoop大數(shù)據(jù)技術(shù)與應(yīng)用實(shí)戰(zhàn)》課程，特編制此課程方案。課程要點(diǎn)應(yīng)答說(shuō)明表：
表1.《Hadoop大數(shù)據(jù)技術(shù)與應(yīng)用實(shí)戰(zhàn)》課程應(yīng)答說(shuō)明
課程要求與指標(biāo) 是否滿足與能夠?qū)嵸|(zhì)響應(yīng)
應(yīng)適用課程目標(biāo)人群包括大數(shù)據(jù)開(kāi)發(fā)人員、運(yùn)維人員、項(xiàng)目管理人員 滿足、能夠
應(yīng)滿足指定課程目標(biāo) 滿足、能夠
應(yīng)覆蓋指定課程內(nèi)容 滿足、能夠
應(yīng)在指定課時(shí)內(nèi)完成授課內(nèi)容 滿足、能夠
方案包括課程目標(biāo)設(shè)計(jì)、課程實(shí)施大綱與框架、師資隊(duì)伍配備內(nèi)容。
二、 培訓(xùn)收益與課程目標(biāo)設(shè)計(jì)
本課程通過(guò)培訓(xùn)使學(xué)習(xí)者達(dá)到如下目標(biāo):
1. 本課程讓學(xué)員充分掌握大數(shù)據(jù)處理平臺(tái)（Hadoop和內(nèi)存型實(shí)時(shí)計(jì)算Spark）技術(shù)架構(gòu)、以及平臺(tái)的安裝部署、運(yùn)維配置、應(yīng)用開(kāi)發(fā)實(shí)戰(zhàn)技能，熟悉國(guó)內(nèi)外主流的大數(shù)據(jù)處理解決方案、以及大數(shù)據(jù)應(yīng)用案例
2. 本課程強(qiáng)調(diào)主流的大數(shù)據(jù)關(guān)鍵技術(shù)及其在不同行業(yè)中企業(yè)的實(shí)際應(yīng)用，立足于實(shí)際的行業(yè)應(yīng)用需求，旨在讓企業(yè)學(xué)員能夠掌握大數(shù)據(jù)平臺(tái)技術(shù)及應(yīng)用如何落地，以及基于大數(shù)據(jù)平臺(tái)的應(yīng)用程序開(kāi)發(fā)，以及大數(shù)據(jù)集群的運(yùn)維技術(shù)，讓學(xué)員掌握業(yè)界主流的大數(shù)據(jù)平臺(tái)的應(yīng)用和部署，并且結(jié)合當(dāng)前（移動(dòng)）互聯(lián)網(wǎng)環(huán)境下產(chǎn)生的大規(guī)模結(jié)構(gòu)化與非結(jié)構(gòu)化數(shù)據(jù)管理以及分析處理需求，詳細(xì)講解有機(jī)地集成大數(shù)據(jù)平臺(tái)各個(gè)功能組件（大數(shù)據(jù)收集、大數(shù)據(jù)存儲(chǔ)、大數(shù)據(jù)管理、大數(shù)據(jù)挖掘、大數(shù)據(jù)分析和大數(shù)據(jù)可視化組件）設(shè)計(jì)大數(shù)據(jù)項(xiàng)目，并分享大數(shù)據(jù)項(xiàng)目應(yīng)用實(shí)施案例。
3. 讓學(xué)員掌握主流大數(shù)據(jù)Hadoop平臺(tái)和Spark實(shí)時(shí)處理平臺(tái)的技術(shù)架構(gòu)和實(shí)際應(yīng)用，并用結(jié)合實(shí)際的生產(chǎn)系統(tǒng)案例進(jìn)行教學(xué)，講解利用Hadoop+Spark對(duì)行業(yè)大數(shù)據(jù)進(jìn)行存儲(chǔ)管理和分析挖掘的技術(shù)應(yīng)用，掌握基于Hadoop大數(shù)據(jù)平臺(tái)的數(shù)據(jù)挖掘和數(shù)據(jù)倉(cāng)庫(kù)分布式系統(tǒng)平臺(tái)應(yīng)用，以及主流的大數(shù)據(jù)平臺(tái)產(chǎn)品剖析。
4. 讓學(xué)員掌握業(yè)界最流行Hadoop與Spark大數(shù)據(jù)平臺(tái)，深入講解Hadoop生態(tài)系統(tǒng)組件，包括HDFS，MapReduce，HIVE，HBase，Mahout，Spark，GraphX，MLib，Shark， ElasticSearch等大數(shù)據(jù)存儲(chǔ)管理、分布式數(shù)據(jù)庫(kù)、大型數(shù)據(jù)倉(cāng)庫(kù)、大數(shù)據(jù)查詢與搜索、大數(shù)據(jù)分析挖掘與分布式處理技術(shù)的實(shí)踐應(yīng)用。
5. 引導(dǎo)學(xué)員利用Hadoop大數(shù)據(jù)技術(shù)解決企業(yè)中存在的問(wèn)題，掌握運(yùn)用Hadoop開(kāi)展大數(shù)據(jù)項(xiàng)目解決方案思路。
6. 本課程采用技術(shù)原理與項(xiàng)目實(shí)戰(zhàn)相結(jié)合的方式進(jìn)行教學(xué)，在講授原理的過(guò)程中，穿插實(shí)際的系統(tǒng)操作，本課程講師也精心準(zhǔn)備的實(shí)際的應(yīng)用案例供學(xué)員動(dòng)手訓(xùn)練。
三、 課程實(shí)施大綱與內(nèi)容框架
日程 培訓(xùn)模塊 內(nèi)容
1. Hadoop大數(shù)據(jù)應(yīng)用背景、技術(shù)構(gòu)成、以及行業(yè)案例 1) 大數(shù)據(jù)技術(shù)的發(fā)展歷程和應(yīng)用背景、大數(shù)據(jù)產(chǎn)業(yè)鏈概況，以及大數(shù)據(jù)技術(shù)在通信運(yùn)營(yíng)商、互聯(lián)網(wǎng)金融業(yè)、網(wǎng)上銀行、電子商務(wù)、零售業(yè)、制造業(yè)、電子政務(wù)、移動(dòng)互聯(lián)網(wǎng)、教育信息化等行業(yè)中的應(yīng)用實(shí)踐；
2) 解析業(yè)界主流的標(biāo)準(zhǔn)化大數(shù)據(jù)平臺(tái)Hadoop+ Spark平臺(tái)架構(gòu)，重點(diǎn)講解它們?cè)诖髷?shù)據(jù)存儲(chǔ)、管理、分析處理方面的應(yīng)用方案，以及在大數(shù)據(jù)離線分析、近線分析、實(shí)時(shí)在線分析處理方面的優(yōu)化組合方案及優(yōu)勢(shì)；
2. 業(yè)界主流的Hadoop大數(shù)據(jù)分析平臺(tái)的生態(tài)系統(tǒng)剖析 1) 分類介紹常見(jiàn)的傳統(tǒng)數(shù)據(jù)分析平臺(tái)和新興的大數(shù)據(jù)分析處理平臺(tái)，它們各自的技術(shù)特色以及平臺(tái)的生態(tài)系統(tǒng)組件
2) Hadoop大數(shù)據(jù)平臺(tái)的體系結(jié)構(gòu)、生態(tài)系統(tǒng)組件、平臺(tái)架構(gòu)以及工作原理
3. HDFS分布式文件系統(tǒng)技術(shù)及其應(yīng)用 1) HDFS分布式文件系統(tǒng)HDFS概述、功能、作用、優(yōu)勢(shì)、應(yīng)用范疇、應(yīng)用現(xiàn)狀和發(fā)展趨勢(shì)
2) HDFS分布式文件系統(tǒng)核心關(guān)鍵技術(shù)、設(shè)計(jì)精髓、基本工作原理、系統(tǒng)架構(gòu)、文件存儲(chǔ)模式、工作機(jī)制、存儲(chǔ)擴(kuò)容與吞吐性能擴(kuò)展
3) HDFS系統(tǒng)SHELL命令操作、文件數(shù)據(jù)讀取、寫入、追加、刪除、文件狀態(tài)查詢
4) HDFS的Client API應(yīng)用程序開(kāi)發(fā)實(shí)戰(zhàn)
5) HDFS集群的部署配置和性能調(diào)優(yōu)，以及常見(jiàn)故障的解決之道。
4. MapReduce并行處理平臺(tái)架構(gòu)和關(guān)鍵技術(shù)剖析 1) 大數(shù)據(jù)平臺(tái)中的并行計(jì)算處理與函數(shù)式編程技術(shù)原理，以及數(shù)據(jù)并行技術(shù)—MapReduce技術(shù)的工作原理
2) Hadoop MapReduce并行處理平臺(tái)的系統(tǒng)架構(gòu)、JobTracker和TaskTracker等核心功能模塊剖析
5. MapReduce大數(shù)據(jù)處理應(yīng)用程序開(kāi)發(fā)實(shí)踐 1) MapReduce應(yīng)用開(kāi)發(fā)環(huán)境的配置
2) MapReduce大數(shù)據(jù)處理應(yīng)用程序的編程開(kāi)發(fā)實(shí)踐技巧
3) MapReduce程序Debug調(diào)試、作業(yè)執(zhí)行和任務(wù)調(diào)度技術(shù)
6. Yarn并行處理框架應(yīng)用實(shí)踐以及MapReduce高級(jí)編程開(kāi)發(fā) 1) 第二代大數(shù)據(jù)計(jì)算框架Yarn的工作原理以及DAG并行執(zhí)行機(jī)制，Yarn框架的配置部署，以及基于Yarn的大數(shù)據(jù)處理應(yīng)用程序開(kāi)發(fā)
2) MapReduce高級(jí)編程技巧與性能優(yōu)化實(shí)踐、MapReduce與Yarn項(xiàng)目案例實(shí)踐
7. Hadoop生態(tài)系統(tǒng)中的NoSQL與NewSQL數(shù)據(jù)庫(kù)剖析 1) 目前業(yè)界主流的大規(guī)模非結(jié)構(gòu)化數(shù)據(jù)管理技術(shù)實(shí)現(xiàn)與平臺(tái)應(yīng)用，以及SQL、NoSQL和NewSQL分布式數(shù)據(jù)庫(kù)平臺(tái)技術(shù)及應(yīng)用
2) Hadoop半結(jié)構(gòu)化與非結(jié)構(gòu)化大數(shù)據(jù)管理系統(tǒng)HBase集群的應(yīng)用及其發(fā)展趨勢(shì)?
8. HBase半結(jié)構(gòu)化大數(shù)據(jù)管理系統(tǒng)的平臺(tái)架構(gòu)、關(guān)鍵技術(shù)及應(yīng)用程序開(kāi)發(fā)實(shí)踐 1) HBase大數(shù)據(jù)管理系統(tǒng)的平臺(tái)架構(gòu)，HMaster和HRegionServer的工作原理，以及DDL，DML和DCL的實(shí)踐操作
2) HBase大數(shù)據(jù)管理集群的配置部署、管理、運(yùn)維監(jiān)控、性能優(yōu)化、負(fù)載均衡，以及HBase與HDFS、MapReduce和ZooKeeper分布式集群之間的數(shù)據(jù)交互和協(xié)同工作機(jī)制
3) HBase Client包的API調(diào)用，以及大數(shù)據(jù)管理應(yīng)用程序的開(kāi)發(fā)實(shí)戰(zhàn)
9. HBase大數(shù)據(jù)管理集群的安裝部署和配置 1) Hadoop集群的安裝部署，分別配置HDFS和MapReduce分布式集群（3節(jié)點(diǎn)以上）
2) ZooKeeper分布式協(xié)調(diào)服務(wù)集群的部署與配置（3個(gè)節(jié)點(diǎn)）
3) HBase分布式集群的部署與配置（3個(gè)節(jié)點(diǎn)以上）
4) 將500萬(wàn)條數(shù)據(jù)集導(dǎo)入到HBase，并且基于類SQL語(yǔ)句實(shí)現(xiàn)十個(gè)查詢類型
5) 配置HBase開(kāi)發(fā)環(huán)境，使用Java Client API實(shí)現(xiàn)大數(shù)據(jù)管理應(yīng)用程序
10. Hive大數(shù)據(jù)倉(cāng)庫(kù)的平臺(tái)架構(gòu)、關(guān)鍵技術(shù)及應(yīng)用實(shí)踐 1) HIVE大型數(shù)據(jù)倉(cāng)庫(kù)集群的平臺(tái)架構(gòu)、工作原理及其在國(guó)內(nèi)BAT與國(guó)外GAF等互聯(lián)網(wǎng)公司中的應(yīng)用案例
2) Hive大數(shù)據(jù)倉(cāng)庫(kù)集群的部署配置，類SQL的操作，HIVE SQL到MapReduce的解析技術(shù)剖析
3) HIVE文件與記錄存儲(chǔ)格式、Hive與HBase數(shù)據(jù)庫(kù)整合、Hive大數(shù)據(jù)統(tǒng)計(jì)分析報(bào)表技術(shù)、Hive功能操作實(shí)踐
11. Hive數(shù)據(jù)倉(cāng)庫(kù)集群的安裝部署、參數(shù)配置和性能優(yōu)化 1) 部署HIVE元數(shù)據(jù)管理服務(wù)器
2) 部署 HIVEServer，允許Client訪問(wèn)、HWI訪問(wèn)
3) 將HDFS中的4000萬(wàn)條數(shù)據(jù)集導(dǎo)入到HIVE數(shù)據(jù)倉(cāng)庫(kù)中，并創(chuàng)建數(shù)據(jù)倉(cāng)庫(kù)表
4) 基于HIVE數(shù)據(jù)倉(cāng)庫(kù)提供的HQL語(yǔ)句完成十個(gè)統(tǒng)計(jì)指標(biāo)
5) 配置HIVE開(kāi)發(fā)環(huán)境，并實(shí)現(xiàn)大數(shù)據(jù)倉(cāng)庫(kù)的統(tǒng)計(jì)分析應(yīng)用程序
12. Mahout大數(shù)據(jù)分布式并行挖掘平臺(tái)技術(shù)及應(yīng)用程序開(kāi)發(fā)實(shí)踐 6) 基于Hadoop的Mahout大數(shù)據(jù)挖掘平臺(tái)的技術(shù)架構(gòu)、關(guān)鍵技術(shù)剖析
7) Mahout與HBase、HDFS和MapReduce的對(duì)接和接口調(diào)用實(shí)現(xiàn)
8) Mahout大數(shù)據(jù)協(xié)同過(guò)濾分析技術(shù)原理及應(yīng)用
9) Mahout頻繁模式挖掘分析技術(shù)原理及應(yīng)用
10) Mahout聚類分析技術(shù)原理及應(yīng)用
11) Mahout分類分析技術(shù)原理及應(yīng)用
12) Mahout推薦分析技術(shù)原理及應(yīng)用
13) Mahout大數(shù)據(jù)挖掘平臺(tái)的應(yīng)用程序開(kāi)發(fā)實(shí)現(xiàn)
13. Mahout大數(shù)據(jù)分析挖掘平臺(tái)的集群安裝部署、參數(shù)配置和性能優(yōu)化 14) 根據(jù)搜索引擎日志數(shù)據(jù)集利用Mahout實(shí)現(xiàn)用戶行為分析程序
15) 根據(jù)電商數(shù)據(jù)集利用Mahout實(shí)現(xiàn)協(xié)同過(guò)濾程序設(shè)計(jì)
16) 根據(jù)電商平臺(tái)的日志數(shù)據(jù)利用Mahout實(shí)現(xiàn)推薦過(guò)濾應(yīng)用程序
14. Hadoop生態(tài)系統(tǒng)中的Spark大數(shù)據(jù)實(shí)時(shí)處理技術(shù)及應(yīng)用實(shí)踐 1) Spark大數(shù)據(jù)實(shí)時(shí)處理平臺(tái)的技術(shù)原理、集群架構(gòu)及其在大型互聯(lián)網(wǎng)公司和運(yùn)營(yíng)商企業(yè)中的應(yīng)用實(shí)踐案例
2) Spark內(nèi)存實(shí)時(shí)處理平臺(tái)架構(gòu)，Spark分布式實(shí)時(shí)處理框架及工作原理
3) Spark集群的平臺(tái)架構(gòu)及其生態(tài)系統(tǒng)組件剖析，SparkSQL和Spark Streaming應(yīng)用技巧
4) 基于Spark的MLib實(shí)時(shí)數(shù)據(jù)挖掘應(yīng)用實(shí)踐
5) 基于Spark的GraphX圖數(shù)據(jù)分析應(yīng)用實(shí)踐
15. Hadoop生態(tài)系統(tǒng)中數(shù)據(jù)交互與應(yīng)用對(duì)接實(shí)戰(zhàn) 1) 利用Sqoop實(shí)現(xiàn)關(guān)系數(shù)據(jù)庫(kù)（MySQL、Oracle）和HDFS、HBase之間的數(shù)據(jù)導(dǎo)入與導(dǎo)出應(yīng)用實(shí)踐
2) 實(shí)現(xiàn)HIVE與HBase之間的數(shù)據(jù)對(duì)接，實(shí)現(xiàn)OLAP與OLTP一體化數(shù)據(jù)處理平臺(tái)
3) 基于Hadoop與Spark實(shí)現(xiàn)內(nèi)外存數(shù)據(jù)交互，實(shí)現(xiàn)批處理與實(shí)時(shí)處理平臺(tái)
16. Hadoop大數(shù)據(jù)技術(shù)及應(yīng)用實(shí)踐的課程總結(jié) 1) 授課內(nèi)容回顧
2) 授課知識(shí)點(diǎn)答疑
3) 大數(shù)據(jù)解決方案咨詢 |
|
|
|
首頁(yè) 課程表 在線聊 報(bào)名 講師 品牌 QQ聊 活動(dòng) 就業(yè)
