流式數(shù)據(jù)湖平臺(tái)—Paimon視頻教程

Apache Paimon是一個(gè)流數(shù)據(jù)湖平臺(tái)，是Streaming實(shí)時(shí)計(jì)算能力和Lakehouse新架構(gòu)優(yōu)勢(shì)的結(jié)合，具有高速數(shù)據(jù)攝取、變更日志跟蹤和高效的實(shí)時(shí)分析能力。

Paimon最早是由 Flink社區(qū)內(nèi)部孵化而來，原名 Flink Table Store（簡(jiǎn)稱FTS），是Flink的子項(xiàng)目。2023年3月12日，捐贈(zèng)給Apache軟件基金會(huì)后，改名為Apache Paimon。

本套教程內(nèi)容涵蓋Paimon的核心特點(diǎn)：統(tǒng)一批處理和流處理、數(shù)據(jù)湖能力、各種合并引擎、變更日志生成、豐富的表類型、模式演化等。內(nèi)容講解基于各個(gè)軟件的新版本：Paimon 0.5 SNAPSHOT、Flink 1.17.0、Hive 3.1.3、Spark 3.3.1。

教程目錄

01.Paimon課程介紹
02.Paimon概述_簡(jiǎn)介
03.Paimon概述_核心特性
04.Paimon概述_基本概念
05.Paimon概述_文件布局
06.集成Flink_環(huán)境準(zhǔn)備
07.集成Flink_環(huán)境準(zhǔn)備_解決依賴沖突
08.集成Flink_Catalog_文件系統(tǒng)
09.集成Flink_Catalog_Hive&初始化文件
10.集成Flink_DDL_創(chuàng)建管理表
11.集成Flink_DDL_管理表_CTAS和表屬性
12.集成Flink_DDL_外部表和臨時(shí)表
13.集成Flink_DDL_修改表&修改列&修改水印
14.集成Flink_DML_插入&覆蓋數(shù)據(jù)
15.集成Flink_DML_更新&刪除數(shù)據(jù)
16.集成Flink_DML_Merge Into的理解
17.集成Flink_DML_Merge Into案例練習(xí)
18.集成Flink_DQL_批量查詢_時(shí)間旅行和增量查詢
19.集成Flink_DQL_流式查詢_時(shí)間旅行&注意細(xì)節(jié)
20.集成Flink_DQL_流式查詢_ConsumerID功能&查詢優(yōu)化
21.集成Flink_查看系統(tǒng)表
22.集成Flink_維表Join
23.集成Flink_CDC_功能介紹
24.集成Flink_CDC_MySQL同步表演示
25.集成Flink_CDC_MySQL整庫(kù)同步演示
26.集成Flink_CDC_Kafka數(shù)據(jù)準(zhǔn)備
27.集成Flink_CDC_Kafka同步表演示
28.集成Flink_CDC_Kafka整庫(kù)同步演示
29.集成Flink_CDC_支持的schema變更
30.集成Flink_進(jìn)階使用_寫入性能
31.集成Flink_進(jìn)階使用_讀取性能
32.集成Flink_進(jìn)階使用_多Writer并發(fā)寫入&部分列更新&獨(dú)立Compaction
33.集成Flink_進(jìn)階使用_表管理
34.集成Flink_進(jìn)階使用_縮放Bucket
35.集成Flink_文件操作理解
36.集成Hive_演示
37.集成Spark_環(huán)境準(zhǔn)備&Catalog
38.集成Spark_DDL_建表
39.集成Spark_DDL_修改表
40.集成Spark_插入數(shù)據(jù)&查詢數(shù)據(jù)
41.集成Spark_查詢系統(tǒng)表