 班級規(guī)模及環(huán)境--熱線:4008699035 手機(jī):15921673576( 微信同號) |
|
每期人數(shù)限3到5人。 |
| 上課時(shí)間和地點(diǎn) |
上課地點(diǎn)：【上海】：同濟(jì)大學(xué)(滬西)/新城金郡商務(wù)樓(11號線白銀路站) 【深圳分部】：電影大廈(地鐵一號線大劇院站)/深圳大學(xué)成教院 【北京分部】：北京中山學(xué)院/福鑫大樓 【南京分部】：金港大廈(和燕路) 【武漢分部】：佳源大廈（高新二路） 【成都分部】：領(lǐng)館區(qū)1號（中和大道） 【沈陽分部】：沈陽理工大學(xué)/六宅臻品 【鄭州分部】：鄭州大學(xué)/錦華大廈 【石家莊分部】：河北科技大學(xué)/瑞景大廈 【廣州分部】：廣糧大廈 【西安分部】：協(xié)同大廈
最近開課時(shí)間(周末班/連續(xù)班/晚班）：2020年3月16日 |
| 實(shí)驗(yàn)設(shè)備 |
☆資深工程師授課
☆注重質(zhì)量
☆邊講邊練
☆合格學(xué)員免費(fèi)推薦工作
★實(shí)驗(yàn)設(shè)備請點(diǎn)擊這兒查看★ |
| 質(zhì)量保障 |
1、培訓(xùn)過程中，如有部分內(nèi)容理解不透或消化不好，可免費(fèi)在以后培訓(xùn)班中重聽；
2、培訓(xùn)結(jié)束后,授課老師留給學(xué)員聯(lián)系方式,保障培訓(xùn)效果,免費(fèi)提供課后技術(shù)支持。
3、培訓(xùn)合格學(xué)員可享受免費(fèi)推薦就業(yè)機(jī)會。 |
課程大綱 |
課程特點(diǎn)
當(dāng)下是大數(shù)據(jù)時(shí)代，為構(gòu)建大數(shù)據(jù)平臺，技術(shù)人員需要對分布式計(jì)算平臺有一定深入的理解和應(yīng)用。MapReduce作為一個經(jīng)典的分布式計(jì)算框架，已經(jīng)廣為人知，且得到了廣泛的應(yīng)用，但MapReduce自身存在很多問題，包括迭代式計(jì)算和DAG計(jì)算等類型的數(shù)據(jù)挖掘與機(jī)器學(xué)習(xí)算法性能低下，不能很好地利用內(nèi)存資源，編程復(fù)雜度較高等。為了克服MapReduce的眾多問題，新型計(jì)算框架出現(xiàn)了。
目標(biāo)收益
本課程將為大家全面而又深入的介紹Spark、Hadoop平臺的構(gòu)建流程，涉及Spark、Hadoo系統(tǒng)基礎(chǔ)知識，概念及架構(gòu)， Spark、Hadoo實(shí)戰(zhàn)技巧，Spark、Hadoo經(jīng)典案例等。
通過本課程實(shí)踐，幫助學(xué)員對Spark、Hadoo生態(tài)系統(tǒng)有一個清晰明了的認(rèn)識；理解Spark、Hadoo系統(tǒng)適用的場景；掌握Spark、Hadoo等初中級應(yīng)用開發(fā)技能；搭建穩(wěn)定可靠的Spar、Hadoo k集群，滿足生產(chǎn)環(huán)境的標(biāo)準(zhǔn)；了解和清楚大數(shù)據(jù)應(yīng)用的幾個行業(yè)中的經(jīng)典案例，包括阿里巴巴，華為等。
培訓(xùn)對象
各類 IT/軟件企業(yè)和研發(fā)機(jī)構(gòu)的軟件架構(gòu)師、軟件設(shè)計(jì)師、程序員。對于懷有設(shè)計(jì)疑問和問題，需要梳理解答的團(tuán)隊(duì)和個人，效果最佳。
學(xué)員基礎(chǔ)
了解Linux系統(tǒng)及相關(guān)語言環(huán)境
課程大綱
主題內(nèi)容
Hadoop簡介和生態(tài)系統(tǒng)介紹傳統(tǒng)大規(guī)模數(shù)據(jù)分析存在的問題?
Hadoop概述?
Hadoop與分布式文件系統(tǒng)?
Hadoop生態(tài)系統(tǒng)
Hadoop的行業(yè)應(yīng)用案例分析
Hadoop在云計(jì)算和大數(shù)據(jù)的位置和關(guān)系
Hadoop版本介紹
Hadoop與Google FS的關(guān)系
Hadoop在國內(nèi)的使用情況和未來
Hadoop安裝和主要配置文件介紹Hadoop安裝所需軟件介紹
Hadoop單機(jī)安裝
Hadoop偽分布式安裝
Hadoop完全分布式安裝
Hadoop三個節(jié)點(diǎn)安裝的配置介紹
Hahoop多節(jié)點(diǎn)ssh配置
Hadoop格式化詳解
Hadoop核心配置文件介紹
核心配置文件core-site.xml
HDFS配置文件hdfs-site.xml
Mapreduce配置文件mapred-site.xml
master文件配置詳解
slave文件配置詳解
Hadoop啟動和停止方法一
—start-all.sh詳解
—stop-all.sh詳解
Hadoop的啟動和停止方法二
—hadoop-deamon.sh詳解
Hadoop安裝的常見錯誤介紹和解決方案
使用自帶的wordcount和pi測試集群安裝是否成功
使用Streaming來測試集群安裝是否成功
Hadoop組件介紹Hadoop NameNode 介紹
Hadoop SecondaryNameNode 介紹?
Hadoop DataNode 介紹
Hadoop JobTracker 介紹?
Hadoop TaskTracker 介紹
Hadoop的HDFS模塊HDFS架構(gòu)介紹
HDFS原理介紹
NameNode功能詳解
DataNode功能詳解
SecondaryNameNode功能詳解
HSFD的fsimage和editslog詳解
HDFS的block詳解
HDFS的block的備份策略
Hadoop的機(jī)架感知配置
HDFS的shell命令介紹
HDFS的thrift server服務(wù)介紹
HDFS的API接口介紹
HDFS的權(quán)限詳解
Hadoop的客服端接入案例
MapReducer入門Mapreduce原理
MapReduce流程
剖析一個MapReduce程序
Mapper和Reducer抽象類詳解
Mapreduce的最小驅(qū)動類
MapReduce自帶的類型
自定義Writables和WritableComparables
Mapreduce的輸入InputFormats
MapReduce的輸出OutputFormats
Combiner詳解
Partitioner詳解
DistributeFileSystem詳解
Hadoop Tools工具介紹
Counter計(jì)數(shù)器詳解
自定義Counter計(jì)數(shù)器
基于Hadoop二次開發(fā)實(shí)戰(zhàn)
MapReduce的優(yōu)化
Map和Reduce的個數(shù)設(shè)置
Hadoop小文件優(yōu)化
任務(wù)調(diào)度
默認(rèn)的任務(wù)調(diào)度
公平任務(wù)調(diào)度
能力任務(wù)調(diào)度
使用 Hadoop MapReduce Streaming 編程?
MapReduce的單元測試
HiveHive和Pig基礎(chǔ)
Hive、Impala和presto的比較?
Hive的作用和原理說明
Hadoop倉庫和傳統(tǒng)數(shù)據(jù)倉庫的協(xié)作關(guān)系
Hadoop/Hive倉庫數(shù)據(jù)數(shù)據(jù)流
Hive部署和安裝
HiveCli的基本用法
Hive的server啟動
HQL基本語法
Hive的加載數(shù)據(jù)本地加載和HDFS加載
Hive的partition詳解
Hive的存儲方式詳解
RCFILE、TEXTFILE和SEQUEUEFILE
Hive的UDF和UDAF
Hive的transform詳解
Hive的JDBC連接
Sqoop介紹Sqoop是什么
Sqoop安裝
Sqoop把mysql數(shù)據(jù)導(dǎo)入HDFS
Sqoop把HDFS數(shù)據(jù)導(dǎo)入Mysql
Sqoop吧Mysql數(shù)據(jù)導(dǎo)入Hive
Sqoop吧Mysql數(shù)據(jù)導(dǎo)入Hive分區(qū)
Hadoop集群配置和維護(hù)Hadoop集群的部署要點(diǎn)
NameNode和SecondaryNameNode和JobTracker機(jī)器的配置要求
dataNode與tasktracker機(jī)器的配置要求
Hadoop集群管理的工具介紹
Ganglia和nigos監(jiān)控Hadoop集群介紹
Ambri介紹
添加和刪除節(jié)點(diǎn)演示
Namenode的單點(diǎn)解決方案
NameNode的NFS備份介紹
集群所有dataNode掛掉的故障介紹
集群NameNode的fsimage丟掉恢復(fù)方法
Hadoop集群維護(hù)的注意點(diǎn)
Hbase使用Hbase原理
Hmaster詳解
RegionServer詳解
Zookeeper介紹
Hbase安裝
Hbase邏輯視圖介紹
Hbase物理視圖介紹
Hbase的二級索引介紹
Hbase的DDL和DML
Hbase表的設(shè)計(jì)案例
Hbase的import功能介紹
MapReduce操作Hbase
Hbase的thriftServer介紹
Hbase的API介紹
Hbase使用場景介紹
Hbase案例分析
大數(shù)據(jù)在國內(nèi)的運(yùn)用大數(shù)據(jù)在國內(nèi)的使用介紹
離線計(jì)算框架介紹
流式計(jì)算框架介紹
內(nèi)存計(jì)算框架介紹
內(nèi)存流式計(jì)算介紹
大數(shù)據(jù)實(shí)時(shí)請求框架介紹
大數(shù)據(jù)在移動的案例介紹
大數(shù)據(jù)在銀行的案例介紹
大數(shù)據(jù)在阿里的案例介紹
Spark生態(tài)介紹Spark產(chǎn)生背景
Spark（內(nèi)存計(jì)算框架）
SparkSteaming（流式計(jì)算框架）
SparkSQL（ad-hoc）
Mllib（MachineLearning）
GraphX（bagel將被代）
spark安裝部署Spark安裝簡介
Spark的源碼編譯
SparkStandalone安裝
SparkStandaloneHA安裝
Spark應(yīng)用程序部署工具spark-submit
Spark運(yùn)行架構(gòu)和解析Spark的運(yùn)行架構(gòu)
基本術(shù)語
運(yùn)行架構(gòu)
SparkonStandalone運(yùn)行過程
SparkonYARN運(yùn)行過程
Spark運(yùn)行實(shí)例解析
SparkonStandalone實(shí)例解析
SparkonYARN實(shí)例解析
SparkSQL原理和實(shí)踐SparkSQL原理
SparkSQL的Catalyst優(yōu)化器
SparkSQL內(nèi)核
SparkSQL和Hive
SparkSQL的實(shí)例和編程
SparkSQL的實(shí)例操作demo
SparkSQL的編程 |
|
|
|
|
|
|
首頁 課程表 在線聊 報(bào)名 講師 品牌 QQ聊 活動 就業(yè)
