
Apache Kafka 基礎(chǔ)入門培訓(xùn)
課程以 Java 代碼實戰(zhàn)的方式學(xué)習(xí) Kafka。
包括 Kafka 的安裝配置、Producer API 的使用、
Consumer API 的使用以及與第三方框架 Flume、Spark Streaming 的集成開發(fā)。
1 MQ 消息系統(tǒng)的概念
2 Zookeeper 和 Kafka 的關(guān)系
3 使用 Java 調(diào)用 Kafka topic 相關(guān) API
4 Producer 入門開發(fā)
5 Consumer 入門開發(fā)
6 Kafka 整合 Flume
7 Kafka 發(fā)送接收非結(jié)構(gòu)化數(shù)據(jù)實戰(zhàn)
8 Kafka 消息系統(tǒng)的基本架構(gòu)
9 使用 shell 命令修改和刪除 topic
10 查看 Kafka 中消息的存儲位置
11 Producer 進階開發(fā)
12 Consumer 進階開發(fā)
13 Kafka 發(fā)送接收結(jié)構(gòu)化數(shù)據(jù)實戰(zhàn)
14 Spark 2.0 讀取 Kafka 數(shù)據(jù)實戰(zhàn)
1
Kafka,
1.了解MQ消息系統(tǒng)的概念
2.理解Kafka消息系統(tǒng)的基本架構(gòu)
3.安裝單機版Kafka集群
4.使用Shell命令創(chuàng)建Topic
5.使用Consumer、Producer發(fā)送和接收消息
2
理解 Kafka 集群
1.理解Zookeeper和Kafka的關(guān)系
2.理解broker、topic、producer、consumer、partition等專有術(shù)語
3.用本節(jié)的專業(yè)術(shù)語重新回顧上節(jié)課的實驗
3
理解 Kafka topic
1.使用shell命令修改topic、刪除topic
2.使用Java語言調(diào)用Kafkatopic相關(guān)API
3.查看Kafka中消息的存儲位置
4
Producer 開發(fā)入門
1.開發(fā)Producer程序的基礎(chǔ)知識
2.開發(fā)Java程序發(fā)送消息到Kafka集群
3.學(xué)習(xí)如何創(chuàng)建一個KafkaProducer和ProducerRecord對象
4.學(xué)習(xí)如何使用默認(rèn)的partitioner和serializer發(fā)送消息
5
Producer 開發(fā)進階
1.畫圖展示producer發(fā)送消息到Kafka的過程
2.從源碼級別理解producer發(fā)送消息的過程
3.開發(fā)自定義partitioner分區(qū)器
6
Consumer 開發(fā)入門
1.理解消費者組的概念
2.學(xué)習(xí)開發(fā)consumer程序的基本步驟
3.編程控制消費指定offset的消息
7
Consumer 開發(fā)進階
1.消息offset的同步提交
2.消息offset的異步提交
3.按partition維度提交offset
4.按處理的消息量提交offset
8
Kafka 整合 Flume
1.Flume的安裝和配置
2.Flume接收命令行消息發(fā)送到Kafka
9
Kafka 發(fā)送接收結(jié)構(gòu)化數(shù)據(jù)
1.使用Java開發(fā)消息發(fā)送程序Producer
2.使用Java開發(fā)消息讀取程序Consumer
10
Kafka 發(fā)送接收非結(jié)構(gòu)化數(shù)據(jù)
1.發(fā)送和接收圖片數(shù)據(jù)
2.發(fā)送和接收視頻數(shù)據(jù)
11
Spark 2 整合 Kafka
1.使用Eclipse搭建Spark20開發(fā)環(huán)境
2.使用Sparkstreaming讀取Kafka數(shù)據(jù),輸出到console
