教程簡(jiǎn)介:
Kafka是高吞吐量的分布式消息發(fā)布和訂閱系統(tǒng),作為大數(shù)據(jù)領(lǐng)域全面且開(kāi)源的分布式事件流平臺(tái),已成為大數(shù)據(jù)從業(yè)人員的必備技能。
Kafka在實(shí)時(shí)數(shù)據(jù)處理、消息隊(duì)列、流處理等領(lǐng)域具有廣泛的應(yīng)用場(chǎng)景,由于其高性能、高可靠、高吞吐的特點(diǎn),被廣泛應(yīng)用于高性能的數(shù)據(jù)管道、流分析和數(shù)據(jù)集成等不同場(chǎng)景,在海量實(shí)時(shí)數(shù)據(jù)傳輸和事件驅(qū)動(dòng)的微服務(wù)架構(gòu)中也被廣泛使用。
本套教程基于Kafka 3.6.1版本設(shè)計(jì),零基礎(chǔ)入門,將理論、演示、源碼融合在一起講解,通過(guò)源碼演示效果,通過(guò)效果印證理論,再通過(guò)理論梳理源碼,讓整個(gè)Kafka的技術(shù)架構(gòu),更加清晰地呈現(xiàn)在你的面前。
教程采用簡(jiǎn)單直白的語(yǔ)言,以及圖形化與操作相結(jié)合的形式,快速直觀地講解Kafka核心功能,降低軟件本身的學(xué)習(xí)難度,縮減學(xué)習(xí)周期。你可以通過(guò)本套教程的學(xué)習(xí),快速掌握Kafka核心組件的用法,理清核心數(shù)據(jù)的處理流程,并將Kafka應(yīng)用于自己的項(xiàng)目中。
教程內(nèi)容按照數(shù)據(jù)在Kafka中傳輸流轉(zhuǎn)的過(guò)程設(shè)置:
一,服務(wù)集群?jiǎn)?dòng),講解軟件啟動(dòng)過(guò)程中各服務(wù)組件的關(guān)系;
二,創(chuàng)建主題,用于對(duì)傳輸數(shù)據(jù)進(jìn)行分類;
三,生產(chǎn)數(shù)據(jù),講解業(yè)務(wù)系統(tǒng)數(shù)據(jù)或待處理的數(shù)據(jù)傳輸?shù)終afka的流程,以及底層的實(shí)現(xiàn)原理;
四,Kafka在接收到數(shù)據(jù)后,存儲(chǔ)數(shù)據(jù)的核心操作及流程;
五,消費(fèi)者從Kafka中獲取數(shù)據(jù)的方式及底層的操作流程。
-------------------------------------------
教程目錄:
01.Kafka-課程介紹
02.kafka-文件目錄說(shuō)明
03.Kafka-軟件介紹
04.Kafka-JMS介紹
05.Kafka-組件
06.Kafka-安裝與啟動(dòng)
07.kafka-命令行操作-主題創(chuàng)建
08.kafka-命令行操作-生產(chǎn)者和消費(fèi)者
09.kafka-代碼-生產(chǎn)者
10.kafka-代碼-消費(fèi)者
11.kafka-客戶端便利小工具
12.kafka-構(gòu)建源碼環(huán)境
13.kafka-基礎(chǔ)架構(gòu)圖形推演
14.kafka-基礎(chǔ)組件圖形推演
15.kafka-windows集群部署
16.kafka-啟動(dòng)服務(wù)-ZooKeeper的核心功能
17.kafka-啟動(dòng)服務(wù)-Broker啟動(dòng)后ZooKeeper節(jié)點(diǎn)的變化
18.kafka-啟動(dòng)服務(wù)-Controller的選舉
19.kafka-啟動(dòng)服務(wù)-Controller和Broker的通信原理及底層通信機(jī)制
20.kafka-啟動(dòng)服務(wù)-Broker組件對(duì)象介紹
21.kafka-主題創(chuàng)建-代碼簡(jiǎn)析
22.kafka-主題創(chuàng)建-主題分區(qū)副本分配策略
23.kafka-主題創(chuàng)建-底層流程分析
24.kafka-生產(chǎn)數(shù)據(jù)-生產(chǎn)者流程分析
25.kafka-生產(chǎn)數(shù)據(jù)-攔截器和序列化處理
26.kafka-生產(chǎn)數(shù)據(jù)-分區(qū)器及分區(qū)計(jì)算策略
27.kafka-生產(chǎn)數(shù)據(jù)-數(shù)據(jù)收集器和Sender發(fā)送線程
28.kafka-生產(chǎn)數(shù)據(jù)-數(shù)據(jù)的異步發(fā)送和同步發(fā)送
29.kafka-生產(chǎn)數(shù)據(jù)-ACKS數(shù)據(jù)接收應(yīng)答處理機(jī)制
30.kafka-生產(chǎn)數(shù)據(jù)-數(shù)據(jù)重復(fù)及亂序的原因及原理
31.kafka-生產(chǎn)數(shù)據(jù)-冪等性操作
32.kafka-生產(chǎn)數(shù)據(jù)-事務(wù)操作
33.kafka-生產(chǎn)數(shù)據(jù)-事務(wù)流程
34.kafka-存儲(chǔ)數(shù)據(jù)-數(shù)據(jù)存儲(chǔ)文件類型介紹
35.kafka-存儲(chǔ)數(shù)據(jù)-數(shù)據(jù)存儲(chǔ)流程
36.kafka-存儲(chǔ)數(shù)據(jù)-數(shù)據(jù)文件內(nèi)容及數(shù)據(jù)定位
37.kafka-存儲(chǔ)數(shù)據(jù)-數(shù)據(jù)文件字節(jié)計(jì)算方式
38.kafka-存儲(chǔ)數(shù)據(jù)-數(shù)據(jù)同步一致性問(wèn)題
39.kafka-存儲(chǔ)數(shù)據(jù)-副本同步時(shí)的水位線變化
40.kafka-存儲(chǔ)數(shù)據(jù)-ISR列表變化和傳播
41.kafka-存儲(chǔ)數(shù)據(jù)-日志清理策略
42.kafka-消費(fèi)數(shù)據(jù)-消費(fèi)數(shù)據(jù)的基本流程
43.kafka-消費(fèi)數(shù)據(jù)-數(shù)據(jù)消費(fèi)的偏移量問(wèn)題
44.kafka-消費(fèi)數(shù)據(jù)-偏移量同步提交和異步提交
45.kafka-消費(fèi)數(shù)據(jù)-事務(wù)數(shù)據(jù)的隔離級(jí)別
46.kafka-消費(fèi)數(shù)據(jù)-消費(fèi)者組介紹
47.kafka-消費(fèi)數(shù)據(jù)-消費(fèi)者偏移量?jī)?nèi)部主題
48.kafka-消費(fèi)數(shù)據(jù)-分區(qū)分配策略介紹
49.kafka-消費(fèi)數(shù)據(jù)-分區(qū)分配策略演示
50.kafka-消費(fèi)數(shù)據(jù)-消費(fèi)者Leader選舉
51.kafka-擴(kuò)展-分布式集群腦裂問(wèn)題
52.kafka-擴(kuò)展-零拷貝
53.kafka-擴(kuò)展-順寫日志
54.kafka-擴(kuò)展-KafkaLinux集群部署-虛擬機(jī)安裝
55.kafka-擴(kuò)展-KafkaLinux集群部署-Java安裝
56.kafka-擴(kuò)展-KafkaLinux集群部署-ZooKeeper安裝
57.kafka-擴(kuò)展-KafkaLinux集群部署-Kafka安裝
58.kafka-擴(kuò)展-KafkaLinux集群部署-監(jiān)控軟件安裝
59.kafka-擴(kuò)展-KafkaLinux集群部署-KRaft模式安裝
60.kafka-集成-大數(shù)據(jù)場(chǎng)景-Flume
61.kafka-集成-大數(shù)據(jù)場(chǎng)景-Spark
62.kafka-集成-大數(shù)據(jù)場(chǎng)景-Flink
63.kafka-集成-Java場(chǎng)景-SpringBoot
64.kafka-優(yōu)化簡(jiǎn)介
65.kafka-常見(jiàn)問(wèn)題