 班級規(guī)模及環(huán)境--熱線:4008699035 手機:15921673576( 微信同號) |
| 每個班級的人數(shù)限3到5人，互動授課， 保障效果，小班授課。 |
| 上間和地點 |
上部份地點：【上?！客瑵髮W(xué)(滬西)/新城金郡商務(wù)樓(11號線白銀路站)【深圳分部】：電影大廈(地鐵一號線大劇院站)/深圳大學(xué)成教院【北京分部】：北京中山學(xué)院/福鑫大樓【南京分部】：金港大廈(和燕路)【武漢分部】：佳源大廈（高新二路）【成都分部】：領(lǐng)館區(qū)1號（中和大道）【沈陽分部】：沈陽理工大學(xué)/六宅臻品【鄭州分部】：鄭州大學(xué)/錦華大廈【石家莊分部】：河北科技大學(xué)/瑞景大廈
最近開間(周末班/連續(xù)班/晚班）：2019年1月26日 |
| 實驗設(shè)備 |
◆小班教學(xué)，教學(xué)效果好
☆注重質(zhì)量☆邊講邊練
☆合格學(xué)員免費推薦工作
★實驗設(shè)備請點擊這兒查看★ |
| 質(zhì)量保障 |
1、培訓(xùn)過程中，如有部分內(nèi)容理解不透或消化不好，可免費在以后培訓(xùn)班中重聽；
2、培訓(xùn)結(jié)束后,授課老師留給學(xué)員聯(lián)系方式,保障培訓(xùn)效果,免費提供課后技術(shù)支持。
3、培訓(xùn)合格學(xué)員可享受免費推薦就業(yè)機會。☆合格學(xué)員免費頒發(fā)相關(guān)工程師等資格證書，提升職業(yè)資質(zhì)。專注高端技術(shù)培訓(xùn)15年，端海學(xué)員的能力得到大家的認(rèn)同，受到用人單位的廣泛贊譽，端海的證書受到廣泛認(rèn)可。 |
部份程大綱 |
| |
- 01 Scala入門
安裝Scala
配置IDEA環(huán)境
使用Scala REPL
使用Scala Doc
聲明值和變量
常用類型
算術(shù)和操作符重載
調(diào)用函數(shù)和方法
apply、update方法
option類型
If else表達式、while表達式、for表達式
函數(shù)
過程、懶值、異常
02 Scala數(shù)據(jù)結(jié)構(gòu)
主要的集合特質(zhì)
數(shù)組、映射、元組、隊列、堆棧、列表、集
添加去除元素操作符
將函數(shù)映射到集合
化簡、折疊、掃描
拉鏈操作
迭代器
流（不可變列表）
懶視圖
與java集合的互操作總結(jié)
線程安全的集合
并行集合
操作符概述
03 Scala模式匹配
更好的switch
守衛(wèi)
模式中的變量
類型模式
匹配數(shù)組、列表和元組
提取器
變量聲明中的模式
For表達式中的模式
樣例類
Copy方法和帶名參數(shù)
Case語句的中置表達式
匹配嵌套結(jié)構(gòu)
密封類、模擬枚舉、偏函數(shù)
04 高階函數(shù) & 類 & 對象
作為參數(shù)的函數(shù)
匿名函數(shù)、高階函數(shù)
參數(shù)（類型）推斷
閉包、柯里化、控制抽象
簡單類和無參方法
Getter、Setter方法
對象私有字段
Bean屬性、構(gòu)造器
嵌套類
單例對象、伴生對象
Apply方法
應(yīng)用程序?qū)ο?br>
枚舉
05 Scala包和引入 & 繼承
包、作用域、包對象
包可見性、引入
重命名和隱藏方法
繼承類
重寫方法
類型檢查和轉(zhuǎn)換
受保護的字段和方法
超類的構(gòu)造
重寫字段
匿名子類
抽象類
構(gòu)造順序和提前定義
Scala繼承層級
06 Scala特質(zhì)
不允許多重繼承
當(dāng)做接口使用的特質(zhì)
帶有具體實現(xiàn)的特質(zhì)
帶有特質(zhì)的對象
疊加在一起的特質(zhì)
在特質(zhì)中重寫抽象方法
當(dāng)做富接口使用的特質(zhì)
特質(zhì)中的具體字段
特質(zhì)中的抽象字段
07 注解 & 類型參數(shù)
什么可以被注解
注解參數(shù)
注解實現(xiàn)
針對java特性的注解
用于優(yōu)化的注解
泛型類、泛型函數(shù)
類型變量限定
視圖界定
上下文界定
08 Scala隱式轉(zhuǎn)換
隱式轉(zhuǎn)換
利用隱式轉(zhuǎn)換豐富類庫功能
引入隱式轉(zhuǎn)換
隱式轉(zhuǎn)換規(guī)則
隱式參數(shù)
利用隱式參數(shù)進行隱式轉(zhuǎn)換
上下文界定
讀取行、讀取字符
讀取詞法單元和數(shù)字
09 Scala高級類型
類型與類的區(qū)別
classOf與getClass的區(qū)別
單例類型
類型投影
類型別名
結(jié)構(gòu)類型
復(fù)合類型
中置類型
自身類型
10 Scala Akka實例實操
需求分析
業(yè)務(wù)需求分解
項目源代碼
新建Maven項目AkkaSystem
WorkInfo類抽象
ActorMessage
Master
Worker
案例運行
第四階段
大數(shù)據(jù)spark生態(tài)體系
11 Spark基礎(chǔ)解析
什么是Spark、Spark特點
Spark的用戶和用途
Spark集群安裝
配置Job History Server
配置Spark HA
執(zhí)行第一個spark程序
Spark應(yīng)用提交
啟動Spark Shell
在IDEA中編寫WordCount程序
在IDEA中本地調(diào)試WordCount程序
在IDEA中遠程調(diào)試WordCount程序
12 SparkCore應(yīng)用解析（一）
RDD概述
RDD彈性
RDD特點
RDD編程模型
RDD持久化
RDD檢查點機制
RDD的依賴關(guān)系
DAG的生成
鍵值對RDD的轉(zhuǎn)化操作
鍵值對RDD的行動操作
鍵值對RDD的數(shù)據(jù)分區(qū)
13 SparkCore應(yīng)用解析（二）
文本文件輸入輸出
JSON文件輸入輸出
CSV文件輸入輸出
SequenceFile文件輸入輸出
對象文件輸入輸出
Hadoop輸入輸出格式
文件系統(tǒng)的輸入輸出
數(shù)據(jù)庫的輸入輸出
RDD編程進階
累加器、自定義累加器
廣播變量
14 SparkSQL應(yīng)用解析（一）
什么是Spark SQL
RDD vs DataFrames vs DataSet
SparkSQL命令行查詢流程
IDEA創(chuàng)建SparkSQL程序
新的起始點SparkSession
創(chuàng)建DataFrames
DataFrame常用操作
Dataset和RDD互操作
類型之間的轉(zhuǎn)換總結(jié)
用戶自定義UDF函數(shù)
用戶自定義聚合函數(shù)
15 SparkSQL應(yīng)用解析（二）
SparkSQL數(shù)據(jù)源
通用加載/保存方法
Parquet文件
Hive數(shù)據(jù)庫
JSON數(shù)據(jù)集
JDBC
JDBC/ODBC服務(wù)器
運行Spark SQL CLI
計算所有訂單中每年的銷售單數(shù)、銷售總額案例
計算所有訂單每年最大金額訂單的銷售額案例
計算所有訂單中每年最暢銷貨品案例
16 SparkStreaming應(yīng)用解析
什么是Spark Streaming
Spark與Storm的對比
運行Spark Streaming
架構(gòu)與抽象
初始化StreamingContext
什么是Dstreams
DStreams輸入
DStreams轉(zhuǎn)換
DStreams輸出
累加器和廣播變量
DataFrame ans SQL Operations
Caching / Persistence
7x24 不間斷運行
性能考量
17 SparkGraphX 應(yīng)用解析（一）
什么是Spark GraphX
彈性分布式屬性圖
運行圖計算程序
圖存儲模式
GraphX存儲模式
vertices、edges以及triplets
圖的構(gòu)建
BSP計算模式
圖操作一覽
操作一覽
轉(zhuǎn)換操作
結(jié)構(gòu)操作
頂點關(guān)聯(lián)操作
聚合操作、緩存操作
18 SparkGraphX 應(yīng)用解析（二）
Pregel API
pregel計算模型
pregel實現(xiàn)最短路徑
GraphX實例
PageRank排名算法
PageRank算法原理
Spark GraphX實現(xiàn)
廣度優(yōu)先遍歷(參考)
單源最短路徑(參考)
連通圖(參考)
三角計數(shù)(參考)
PageRank實例
19 Spark內(nèi)核解析（一）
RDD抽象
計算抽象、集群模式
RPC網(wǎng)絡(luò)通信抽象
啟動Standalone集群
核心組件
核心組件交互流程
Block管理
整體應(yīng)用
start-daemon.sh腳本解析
spark-class腳本解析
start-master.sh腳本解析
start-slaves.sh腳本解析
start-all.sh腳本解析
spark-submit腳本解析
20 Spark內(nèi)核解析（二）
Spark通信架構(gòu)
Endpoint啟動過程
Endpoint Send & Ask流程
Endpoint receive流程
Endpoint Inbox處理流程
Endpoint畫像
Master節(jié)點和Work節(jié)點啟動流程
Client啟動流程
Driver和DriverRunner
SparkContext解析
SparkContext創(chuàng)建過程
SparkContext簡易結(jié)構(gòu)與交互關(guān)系
Master對Application資源分配
Worker創(chuàng)建Executor
第四階段
大數(shù)據(jù)spark生態(tài)體系
21 Spark內(nèi)核解析（三）
Job提交和Task的拆分
Task的執(zhí)行流程
Task的回饋流程
Task的迭代流程
Spark的數(shù)據(jù)存儲
數(shù)據(jù)寫入過程分析
數(shù)據(jù)讀取過程分析
Partition如何轉(zhuǎn)化為Block
partition和block的對應(yīng)關(guān)系
Spark Shuffle過程
Spill過程
Collect、Sort
Spill
Merge
Copy
Merge Sort
MapReduce與Spark過程對比
22 Spark內(nèi)核解析（四）
Spark內(nèi)存管理
堆內(nèi)內(nèi)存、堆外內(nèi)存
內(nèi)存管理接口、靜態(tài)內(nèi)存管理
統(tǒng)一內(nèi)存管理
RDD 的持久化機制
RDD 緩存的過程
淘汰和落盤
多任務(wù)間內(nèi)存分配
Shuffle 的內(nèi)存占用
部署模式解析
standalone框架
yarn集群模式、mesos集群模式
spark 三種部署模式的區(qū)別
異常分析1：worker異常退出
異常分析2：executor異常退出
異常分析3：master 異常退出
wordcount程序運行原理窺探
23 Spark優(yōu)化解析（一）
調(diào)優(yōu)基本原則
數(shù)據(jù)傾斜優(yōu)化
如何定位導(dǎo)致數(shù)據(jù)傾斜的代碼
如何緩解/消除數(shù)據(jù)傾斜
Shuffle調(diào)優(yōu)
HashShuffleManager運行原理
SortShuffleManager運行原理
程序開發(fā)調(diào)優(yōu)
原則一：避免創(chuàng)建重復(fù)的RDD
原則二：盡可能復(fù)用同一個RDD
原則三：對多次使用的RDD進行持久化
原則四：盡量避免使用shuffle類算子
原則五：使用map-side預(yù)聚合的shuffle操作
原則六：使用高性能的算子
原則七：廣播大變量
原則八：使用Kryo優(yōu)化序列化性能
原則九：優(yōu)化數(shù)據(jù)結(jié)構(gòu)
24 優(yōu)化解析 & 機器學(xué)習(xí)
運行資源調(diào)優(yōu)
JVM虛擬機優(yōu)化
GC優(yōu)化
Spark的內(nèi)存管理優(yōu)化
根據(jù)日志進一步調(diào)優(yōu)
京東商城基于Spark的風(fēng)控系統(tǒng)的實現(xiàn)
Spark在美團的實踐
數(shù)據(jù)處理平臺架構(gòu)中的SMACK組合
大數(shù)據(jù)架構(gòu)選擇
機器學(xué)習(xí)算法常用指標(biāo)
機器學(xué)習(xí)凸優(yōu)化算法分析及案例實操
機器學(xué)習(xí)L1、L2正則化算法分析及案例實操
PCA降維算法分析及案例實操
ICA降維算法分析及案例實操
非平衡數(shù)據(jù)處理
模型優(yōu)化
損失函數(shù)
25 機器學(xué)習(xí)（二）
矩陣奇異值分解SVD
線性回歸算法
邏輯回歸算法
貝葉斯分類算法
SVM支持向量機算法
決策樹算法
K近鄰算法
KMEANS聚類算法
EM算法
FPGrowth關(guān)聯(lián)規(guī)則算法
Apriori關(guān)聯(lián)規(guī)則算法
協(xié)同過濾推薦算法
ALS交替最小二乘算法
SVD推薦系統(tǒng)算法
隨機森林算法
AdaBoost算法
XgBoost算法、GBDT算法
26 Flink入門
流處理技術(shù)的演變
初識Flink
批處理與流處理
Flink基本架構(gòu)
JobManager與TaskManager
無界數(shù)據(jù)流與有界數(shù)據(jù)流
數(shù)據(jù)流編程模型
Flink集群搭建
Standalone模式安裝
Yarn模式安裝
27 Flink運行架構(gòu)
任務(wù)提交流程
任務(wù)調(diào)度原理
Worker與Slots
程序與數(shù)據(jù)流
并行數(shù)據(jù)流
task與operator chains
Flink DataStream API
Flink運行模型
Flink程序架構(gòu)
執(zhí)行環(huán)境
28 Flink source & sink
基于File的數(shù)據(jù)源
基于Socket的數(shù)據(jù)源
基于集合（Collection）的數(shù)據(jù)源
writeAsText
WriteAsCsv
print/printToErr
writeUsingOutputFormat
writeToSocket
Transformation
Map
29 Flink Transformation
FlatMap、Filter
Connect
CoMap,CoFlatMap
Split、Select
Union、KeyBy
Reduce、Fold
Aggregations
Time、Window
CountWindow
TimeWindow
30 Time與Window
Window Reduce
Window Fold
Aggregation on Window
EventTime的引入
Watermark
EvnetTimeWindow API
滾動窗口
滑動窗口
會話窗口
總結(jié)
第四階段
大數(shù)據(jù)spark生態(tài)體系
31 Elasticsearch入門
什么是Elasticsearch？
Elasticsearch的適用場景、特點、核心概念
Elasticsearch安裝部署、head插件安裝
獲取Transport Client案例
創(chuàng)建索引案例
刪除索引案例
新建文檔（源數(shù)據(jù)json串）
新建文檔（源數(shù)據(jù)map方式添加json）
新建文檔（源數(shù)據(jù)es構(gòu)建器添加json）
搜索文檔數(shù)據(jù)（單個索引）
32 Elasticsearch案例實操
搜索文檔數(shù)據(jù)（多個索引）
更新文檔數(shù)據(jù)（update）
更新文檔數(shù)據(jù)（upsert）
刪除文檔數(shù)據(jù)（prepareDelete）
查詢所有（matchAllQuery）
對所有字段分詞查詢（queryStringQuery）
通配符查詢（wildcardQuery）
詞條查詢（TermQuery）
模糊查詢（fuzzy）
映射操作案例
33 Python基礎(chǔ)
認(rèn)識python
編寫第一個python程序
注釋
變量以及類型
標(biāo)示符和關(guān)鍵字
輸入&輸出
運算符
數(shù)據(jù)類型轉(zhuǎn)換
判斷語句介紹
if判斷語句
34 Python基礎(chǔ)
if嵌套
while循環(huán)
for循環(huán)
break和continue
字符串輸入&輸出
下標(biāo)和切片
元組(tuple)
函數(shù)
文件操作
類和對象
35 Python基礎(chǔ)
封裝
繼承
多態(tài)
設(shè)計模式
異常
模塊
列表推導(dǎo)式
集合
垃圾回收
編碼風(fēng)格
|
首頁 課程表 在線聊 報名 講師 品牌 QQ聊 活動 就業(yè)