
大數(shù)據(jù)開發(fā)知識培訓
01.Java基礎(chǔ)
Java基礎(chǔ)語法 面向?qū)ο缶幊?常用類和工具類 集合框架體系 異常處理機制 文件和IO流 移動開戶管理系統(tǒng) 多線程 枚舉和垃圾回收 反射 JDK新特性 通訊錄系統(tǒng)
Scala多范式編程語言編寫程序; Spark大數(shù)據(jù)計算框架原理;Spark實時流處理技術(shù);Spark大數(shù)據(jù)計算框架調(diào)優(yōu); 要求能夠?qū)Σ煌瑯I(yè)務場景下Spark Core、Spark Streaming、Spark SQL的技術(shù)選型有足夠認知,能夠熟練使用Spark Core、Spark Streaming、Spark SQL完成對應功能; Flink實時流處理技術(shù);熟悉項目中應用開發(fā)。
02 JavaEE核心
前端技術(shù) 數(shù)據(jù)庫 JDBC技術(shù) 服務器端技術(shù) Maven Spring SpringBoot Git
熟悉大數(shù)據(jù)開發(fā)基本流程和技術(shù)架構(gòu); 熟悉機器學習算法理論基礎(chǔ); 熟悉Python語言基礎(chǔ)及數(shù)據(jù)算法庫; 熟悉機器學習應用場景; 熟悉Spark機器學習框架; 熟悉數(shù)據(jù)分析平臺開發(fā)全流程; 熟悉大數(shù)據(jù)推薦系統(tǒng)的開發(fā)全流程
03 Hadoop生態(tài)體系
Linux Hadoop ZooKeeper Hive HBase Phoenix Impala Kylin Flume Sqoop&DataX Kafka Oozie&Azkaban Hue 智慧農(nóng)業(yè)數(shù)倉分析平臺
Linux操作系統(tǒng)安裝及基本命令;shell腳本編程; 大數(shù)據(jù)架構(gòu)Hadoop原理及編程使用;熟悉大數(shù)據(jù)框架Hadoop調(diào)優(yōu) ZooKeeper工作機制,以及動態(tài)感知原理及使用; Hive數(shù)據(jù)倉庫的使用及調(diào)優(yōu)原理; HBase數(shù)據(jù)庫的開發(fā)、使用以及調(diào)優(yōu); Phoenix基本使用; Impala查詢使用; Kylin大數(shù)據(jù)的OLAP引擎; Flume數(shù)據(jù)遷移工具; Sqoop與DataX離線數(shù)據(jù)遷移工具及數(shù)據(jù)遷移測試; Kafka消息隊列; Oozie、Azkaban項目流程調(diào)度開發(fā)工具; Hue開源Hadoop UI系統(tǒng);掌握Hue與各個大數(shù)據(jù)組件的搭配使用; 各個大數(shù)據(jù)組件在項目中的實戰(zhàn)使用;
04 Spark生態(tài)體系
Scala、Spark、交通領(lǐng)域汽車流量監(jiān)控項目、Flink
Scala多范式編程語言編寫程序; Spark大數(shù)據(jù)計算框架原理;Spark實時流處理技術(shù);Spark大數(shù)據(jù)計算框架調(diào)優(yōu); 要求能夠?qū)Σ煌瑯I(yè)務場景下Spark Core、Spark Streaming、Spark SQL的技術(shù)選型有足夠認知,能夠熟練使用Spark Core、Spark Streaming、Spark SQL完成對應功能; Flink實時流處理技術(shù);熟悉項目中應用開發(fā)。
05 項目實戰(zhàn) 機器學習
高鐵智能檢測系統(tǒng)、電信充值、中國天氣網(wǎng)、機器學習
熟悉大數(shù)據(jù)開發(fā)基本流程和技術(shù)架構(gòu); 熟悉機器學習算法理論基礎(chǔ); 熟悉Python語言基礎(chǔ)及數(shù)據(jù)算法庫; 熟悉機器學習應用場景; 熟悉Spark機器學習框架; 熟悉數(shù)據(jù)分析平臺開發(fā)全流程; 熟悉大數(shù)據(jù)推薦系統(tǒng)的開發(fā)全流程。