教程簡介:
FlinkCDC是Flink社區(qū)開發(fā)的組件,搭配Flink流批一體數(shù)據(jù)計算引擎,能夠?qū)崿F(xiàn)采集計算一體化,更加方便項目的需求開發(fā)和后續(xù)維護。
FlinkCDC 1.x帶來了Flink通過監(jiān)控數(shù)據(jù)庫的Binlog,實時獲取數(shù)據(jù)庫動態(tài)變化數(shù)據(jù),F(xiàn)linkCDC 2.x帶來了無鎖全量同步,但都需要開發(fā)代碼完成同步數(shù)據(jù)功能。FlinkCDC 3.0形成了自己的框架,只需要一個配置信息,無須開發(fā)代碼即可實現(xiàn)數(shù)據(jù)同步,同時還能獲取元數(shù)據(jù)變更,即數(shù)據(jù)庫中添加字段之后,下游Sink端會自動同步變更元數(shù)據(jù),無須重啟就可以做到同步表變更。
本套教程理論與實踐相結(jié)合,從FlinkCDC的基本使用入手,分別講解了DataStream和FlinkSQL兩種方式,充分調(diào)研FlinkCDC 3.0,給出了更優(yōu)化的解決方案,并結(jié)合源碼深入分析了其核心原理。教程附贈全套視頻、代碼、文檔及資料。
-------------------------------------------
教程目錄:
01.FlinkCDC教程簡介
02.FlinkCDC-3.0-內(nèi)容介紹
03.FlinkCDC-3.0-簡介(CDC是什么)
04.FlinkCDC-3.0-簡介(CDC的種類)
05.FlinkCDC-3.0-簡介(FlinkCDC)
06.FlinkCDC-3.0-案例實操(數(shù)據(jù)準備)
07.FlinkCDC-3.0-案例實操(創(chuàng)建項目&導入依賴)
08.FlinkCDC-3.0-案例實操(DataStream方式讀取 代碼編寫)
09.FlinkCDC-3.0-案例實操(DataStream方式讀取 代碼測試1)
10.FlinkCDC-3.0-案例實操(DataStream方式讀取 代碼測試2)
11.FlinkCDC-3.0-案例實操(DataStream方式讀取 代碼測試3)
12.FlinkCDC-3.0-案例實操(FlinkSQL方式讀取 代碼編寫&測試)
13.FlinkCDC-3.0-案例實操(MySQL到Doris 環(huán)境準備)
14.FlinkCDC-3.0-案例實操(MySQL到Doris 同步變更 測試)
15.FlinkCDC-3.0-案例實操(MySQL到Doris 路由變更 測試)