大數(shù)據(jù)技術基礎
1. 大數(shù)據(jù)的產生背景與發(fā)展歷程
2. 大數(shù)據(jù)的4V特征,以及與云計算的關系
3. 大數(shù)據(jù)應用需求以及潛在價值分析
4. 業(yè)界最新的大數(shù)據(jù)技術發(fā)展態(tài)勢與應用趨勢
5. 大數(shù)據(jù)思維的轉變
6. 大數(shù)據(jù)項目的系統(tǒng)與技術選型,及落地實施的挑戰(zhàn)
7. “互聯(lián)網(wǎng)+”時代下的電子商務、制造業(yè)、交通行業(yè)、電信運營商、銀行金融業(yè)、電子政務、移動互聯(lián)網(wǎng)、教育信息化等行業(yè)應用實踐與應用案例介紹
業(yè)界主流的大數(shù)據(jù)技術方案
1. 大數(shù)據(jù)軟硬件系統(tǒng)全棧與關鍵技術介紹
2. 大數(shù)據(jù)生態(tài)系統(tǒng)全景圖
3. 主流的大數(shù)據(jù)解決方案介紹
4. Apache大數(shù)據(jù)平臺方案剖析
5. CDH大數(shù)據(jù)平臺方案剖析
6. HDP大數(shù)據(jù)平臺方案剖析
7. 基于云的大數(shù)據(jù)平臺方案剖析
8. 大數(shù)據(jù)解決方案與傳統(tǒng)數(shù)據(jù)庫方案比較
9. 國內外大數(shù)據(jù)平臺方案與廠商對比
大數(shù)據(jù)計算模型(一)——批處理MapReduce
1. MapReduce產生背景與適用場景
2. MapReduce計算模型的基本原理
3. MapReduce作業(yè)執(zhí)行流程
4. MapReduce基本組件,JobTracker和TaskTracker
5. MapReduce高級編程應用,Combiner和Partitioner
6. MapReduce性能優(yōu)化技巧
7. MapReduce案例分析與開發(fā)實踐操作
大數(shù)據(jù)存儲系統(tǒng)與應用實踐
1. 分布式文件系統(tǒng)HDFS產生背景與適用場景
2. HDFS master-slave系統(tǒng)架構與讀寫工作原理
3. HDFS核心組件技術講解,NameNode與fsimage、editslog,DataNode與數(shù)據(jù)塊
4. HDFS Federation機制,viewfs機制,使用場景講解
5. HDFS高可用保證機制,SecondaryNameNode,NFS冷備份,基于zookeeper的HA方案
大數(shù)據(jù)實戰(zhàn)練習一
1. Hadoop平臺搭建、部署與應用實踐,包含HDFS分布式文件系統(tǒng),YARN資源管理軟件,MapReduce計算框架軟件
2. HDFS shell命令操作
3. MapReduce程序在YARN上運行
Hadoop框架與生態(tài)發(fā)展,以及應用實踐操作
1. Hadoop的發(fā)展歷程
2. Hadoop 1.0的核心組件JobTracker,TaskTracker,以及適用范圍
3. Hadoop 2.0的核心組件YARN工作原理,以及與Hadoop 1.0的聯(lián)系與區(qū)別
4. Hadoop YARN的資源管理與作業(yè)調度機制
5. Hadoop 常用性能優(yōu)化技術
大數(shù)據(jù)計算模型(二)——實時處理/內存計算 Spark
1. MapReduce計算模型的瓶頸
2. Spark產生動機、基本概念與適用場景
3. Spark編程模型與RDD彈性分布式數(shù)據(jù)集的工作原理與機制
4. Spark實時處理平臺運行架構與核心組件
5. Spark寬、窄依賴關系與DAG圖分析
6. Spark容錯機制
7. Spark作業(yè)調度機制
8. Spark standardalone,Spark on YARN運行模式
9. Scala開發(fā)介紹與Spark常用Transformation函數(shù)介紹
大數(shù)據(jù)倉庫查詢技術Hive、SparkSQL、Impala,以及應用實踐
1. 基于MapReduce的大型分布式數(shù)據(jù)倉庫Hive基礎知識與應用場景
2. Hive數(shù)據(jù)倉庫的平臺架構與核心技術剖析
3. Hive metastore的工作機制與應用
4. Hive 分區(qū)、分桶機制,Hive行、列存儲格式
5. 基于Spark的大型分布式數(shù)據(jù)倉庫SparkSQL基礎知識與應用場景
6. Spark SQL實時數(shù)據(jù)倉庫的實現(xiàn)原理與工作機制
7. SparkSQL程序開發(fā)與DataFrame機制介紹
8. 基于MPP的大型分布式數(shù)據(jù)倉庫Impala基礎知識與應用場景
9. Impala實時查詢系統(tǒng)平臺架構、關鍵技術介紹,以及與Hive,SparkSQL的對比
Hadoop集群運維監(jiān)控工具
1. Hadoop運維管理監(jiān)控系統(tǒng)Ambari工具介紹
2. 第三方運維系統(tǒng)與工具Ganglia, Nagios
大數(shù)據(jù)實戰(zhàn)練習二
1.基于 Hadoop平臺搭建、部署與配置Spark集群,Spark shell環(huán)境實踐,Spark案例程序分析,Spark程序開發(fā)與運行
2. 基于MapReduce的Hive數(shù)據(jù)倉庫實踐,Hive集群安裝部署,基于文件的Hive數(shù)據(jù)倉庫表導入導出與分區(qū)操作,Hive SQL操作,Hive客戶端操作
3. 基于Hive的SparkSQL shell實踐操作
大數(shù)據(jù)計算模型(三)——流處理Storm, SparkStreaming
1. 流數(shù)據(jù)處理應用場景與流數(shù)據(jù)處理的特點
2. 流數(shù)據(jù)處理工具Storm的平臺架構與集群工作原理
3. Storm關鍵技術與并發(fā)機制
4. Storm編程模型與基本開發(fā)模式
5. Storm數(shù)據(jù)流分組
6. Storm可靠性保證與Acker機制
7. Storm應用案例分析
8. 流數(shù)據(jù)處理工具Spark Streaming基本概念與數(shù)據(jù)模型
9. SparkStreaming工作機制
10. SparkStreaming程序開發(fā)介紹
11. Storm與SparkStreaming的對比
大數(shù)據(jù)ETL操作工具,與大數(shù)據(jù)分布式采集系統(tǒng)
1. Hadoop與DBMS之間數(shù)據(jù)交互工具的應用
2. Sqoop導入導出數(shù)據(jù)的工作原理
3. Flume-NG數(shù)據(jù)采集系統(tǒng)的數(shù)據(jù)流模型與系統(tǒng)架構
4. Kafka分布式消息訂閱系統(tǒng)的應用介紹與平臺架構,及其使用模式
面向OLTP型應用的NoSQL數(shù)據(jù)庫及應用實踐
1. 關系型數(shù)據(jù)庫瓶頸,以及NoSQL數(shù)據(jù)庫的發(fā)展,概念,分類,及其在半結構化和非結構化數(shù)據(jù)場景下的適用范圍
2. 列存儲NoSQL數(shù)據(jù)庫HBase簡介與數(shù)據(jù)模型剖析
3. HBase分布式集群系統(tǒng)架構與讀寫機制,ZooKeeper分布式協(xié)調服務系統(tǒng)的工作原理與應用
4. HBase表設計模式與primary key設計規(guī)范
5. 文檔NoSQL數(shù)據(jù)庫MongoDB簡介與數(shù)據(jù)模型剖析
6. MongoDB集群模式、讀寫機制與常用API操作
8.鍵值型NoSQL數(shù)據(jù)庫Redis簡介與數(shù)據(jù)模型剖析
9.Redis多實例集群架構與關鍵技術
10.NewSQL數(shù)據(jù)庫技術簡介及其適用場景
大數(shù)據(jù)實戰(zhàn)練習三
1.Sqoop安裝、部署與配置,基于Sqoop、MySQL與Hive操作MySQL數(shù)據(jù)庫與Hive數(shù)據(jù)倉庫數(shù)據(jù)導入導出
2.Kafka安裝、部署與配置,基于Kafka創(chuàng)建和消費topic實踐操作
3.Flume+HDFS+MapReduce/Spark大數(shù)據(jù)采集、存儲與分析實踐操作
大數(shù)據(jù)項目選型、實施、優(yōu)化等問題交流討論 大數(shù)據(jù)項目的需求分析、應用實施、系統(tǒng)優(yōu)化,以及解決方案等咨詢與交流討論 |