Flink實時數(shù)倉5.0教程發(fā)布
-------------------------------------------
教程簡介：
在當今電商行業(yè)競爭激烈的環(huán)境下，數(shù)據(jù)實時處理與分析成為企業(yè)取得成功的關(guān)鍵因素之一。實時處理領(lǐng)域，F(xiàn)link被普遍認為是下一代大數(shù)據(jù)流計算引擎，本項目基于Flink實現(xiàn)電商實時數(shù)倉，利用Flink強大的功能，實時采集、處理和存儲電商業(yè)務(wù)中的海量數(shù)據(jù)，并為企業(yè)提供了全面、深入的數(shù)據(jù)分析能力。
教程通過思路分析、畫圖演示、代碼開發(fā)等多維方式，對數(shù)倉的構(gòu)架過程及整體實現(xiàn)進行了詳細的講解。相較于實時數(shù)倉項目4.0，升級了項目架構(gòu)設(shè)計和各個軟件的版本，并采用GitFlow任務(wù)流的形式對整體項目進行版本控制，使用StreamPark對項目進行部署和監(jiān)控。
項目采用的軟件及版本：Flink 1.17.1、Hadoop 3.3.4、Flume 1.10.1、Zookeeper 3.7.1、Kafka 3.6.1、Maxwell 1.29.2、Redis 6.0.8、HBase 2.4.11、Doris 2.1.0、StreamPark 2.1.4、FlinkCDC 2.4.2、MySQL 8.0.31等。
-------------------------------------------
教程目錄：
001.課程介紹
002.基礎(chǔ)_數(shù)倉基本概念
003.基礎(chǔ)_離線數(shù)倉架
004.基礎(chǔ)_實時數(shù)倉架構(gòu)
005.基礎(chǔ)_ER模型和維度建模
006.基礎(chǔ)_事實表和維度表
007.基礎(chǔ)_數(shù)倉構(gòu)建流程
008.基礎(chǔ)_項目架構(gòu)以及代碼版本控制方式介紹
009.基礎(chǔ)_IDEA開發(fā)環(huán)境搭建
010.環(huán)境準備_GitLab的安裝
011.環(huán)境準備_GitLab的其它配置
012.環(huán)境準備_創(chuàng)建用戶以及群組
013.環(huán)境準備_將初始代碼推送到GitLab倉庫
014.環(huán)境準備_設(shè)置Kafka分區(qū)數(shù)
015.ODS_日志數(shù)據(jù)采集
016.ODS_配置binlog記錄業(yè)務(wù)數(shù)據(jù)變化
017.ODS_Maxwell的安裝與配置
018.ODS_Maxwell同步數(shù)據(jù)測試
019.DIM_思路分析_基本流程
020.DIM_思路分析_引入配置表
021.DIM_思路分析_引入FlinkCDC
022.DIM_思路分析_配置表字段完善
023.DIM_FlinkCDC的使用
024.DIM_配置表的創(chuàng)建以及切換開發(fā)分支
025.DIM_開發(fā)思路分析
026.DIM_基本環(huán)境準備以及檢查點設(shè)置
027.DIM_從Kafka主題中讀取數(shù)據(jù)
028.DIM_轉(zhuǎn)換流中數(shù)據(jù)類型以及Maxwell問題說明
029.DIM_使用FlinkCDC讀取配置表數(shù)據(jù)
030.DIM_將配置流數(shù)據(jù)類型封裝為實體類對象
031.DIM_封裝HBaseUtil工具類
032.DIM_在HBase中建表
033.DIM_廣播配置流并和主流進行關(guān)聯(lián)
034.DIM_處理廣播流數(shù)據(jù)
035.DIM_處理主流數(shù)據(jù)
036.DIM_過濾掉不需要傳遞的字段
037.DIM_主流數(shù)據(jù)先到問題分析
038.DIM_在open方法中預(yù)加載配置信息
039.DIM_將維度數(shù)據(jù)同步到HBase表中
040.DIM_封裝FlinkSourceUtil工具類
041.DIM_抽取單獨的處理函數(shù)類
042.DIM_抽取BaseApp基類
043.DIM_抽取方法
044.DIM_封裝JdbcUtil工具類
045.DIM_DIM層總結(jié)
046.DWD_DWD層介紹
047.DWD_日志分流思路分析
048.DWD_開發(fā)思路分析
049.DWD_將臟數(shù)據(jù)放到側(cè)輸出流
050.DWD_創(chuàng)建KafkaSink對象以及Kafka一致性保證
051.DWD_抽取FlinkSinkUtil以及臟數(shù)據(jù)寫到Kafka
052.DWD_新老訪客標記修復(fù)思路
053.DWD_新老訪客標記修復(fù)代碼實現(xiàn)
054.DWD_埋點日志結(jié)構(gòu)分析
055.DWD_分流代碼實現(xiàn)
056.DWD_將不同流的數(shù)據(jù)寫到Kafka主題
057.DWD_抽取方法以及提交代碼到GitLab
058.DWD_評論事實表思路分析
059.DWD_FlinkAPI雙流Join介紹
060.DWD_內(nèi)連接
061.DWD_左外連接
062.DWD_右外連接以及全外連接
063.DWD_左外連接結(jié)果寫到Kafka主題
064.DWD_從Kafka主題中讀取數(shù)據(jù)
065.DWD_從HBase表中讀取數(shù)據(jù)
066.DWD_lookupJoin關(guān)聯(lián)
067.DWD_將關(guān)聯(lián)結(jié)果寫到Kafka主題
068.DWD_評論事實表開發(fā)思路以及環(huán)境準備
069.DWD_從topic_db主題中讀取數(shù)據(jù)
070.DWD_過濾出評論數(shù)據(jù)
071.DWD_從Hbase中讀取字典表數(shù)據(jù)
072.DWD_關(guān)聯(lián)評論表和字典表
073.DWD_將關(guān)聯(lián)的結(jié)果寫到Kafka主題
074.DWD_抽取工具類封裝獲取連接器屬性的方法
075.DWD_抽取BaseSQLApp基類以及通用的建表方法
076.DWD_加購事實表開發(fā)思路分析
077.DWD_過濾出insert類型的加購數(shù)據(jù)
078.DWD_過濾出update類型的加購數(shù)據(jù)以及寫到Kafka
079.DWD_下單事實表思路分析
080.DWD_下單事實表代碼實現(xiàn)
081.DWD_取消訂單事實表整體實現(xiàn)
082.DWD_支付成功事實表思路分析
083.DWD_支付成功事實表代碼實現(xiàn)
084.DWD_退單事實表整體實現(xiàn)(了解業(yè)務(wù))
085.DWD_退款成功事實表整體實現(xiàn)(了解業(yè)務(wù))
086.DWD_其它事實表實現(xiàn)思路分析
087.DWD_事實表動態(tài)分流思路
088.DWD_開發(fā)思路分析
089.DWD_業(yè)務(wù)數(shù)據(jù)以及配置表數(shù)據(jù)讀取
090.DWD_在open方法中預(yù)加載配置信息
091.DWD_處理廣播流中的配置信息
092.DWD_處理主流中的業(yè)務(wù)數(shù)據(jù)
093.DWD_將動態(tài)分流的事實表寫到Kafka主題
094.DWS層介紹
095.Doris_Doris介紹
096.Doris_安裝前準備工作
097.Doris_Doris安裝以及FE的配置
098.Doris_BE的配置
099.Doris_FE與BE的擴容和縮容
100.Doris_基本概念
101.Doris_Aggregate模型
102.Doris_Unique模型和Duplicate模型
103.Doris_建表其它操作
104.Doris_Range分區(qū)
105.Doris_List分區(qū)以及分區(qū)相關(guān)概念
106.Doris_動態(tài)分區(qū)
107.Doris_Rollup表
108.Doris_物化視圖
109.Doris_Flink讀寫Doris_SQL
110.Doris_Flink讀寫Doris_API
111.DWS_搜索關(guān)鍵詞思路分析
112.DWS_分詞工具類
113.DWS_自定義UDTF函數(shù)
114.DWS_開發(fā)思路分析
115.DWS_讀取頁面日志數(shù)據(jù)創(chuàng)建動態(tài)表
116.DWS_過濾出搜索行為
117.DWS_分詞并和原表字段進行關(guān)聯(lián)
118.DWS_分組、開窗、聚合計算
119.DWS_將聚合結(jié)果寫到Doris
120.DWS_版本、渠道、地區(qū)、新老訪客聚合統(tǒng)計思路分析
121.DWS_讀取數(shù)據(jù)并封裝為統(tǒng)計的實體類對象
122.DWS_指定Watermark的生成策略
123.DWS_分組、開窗
124.DWS_聚合
125.DWS_將聚合結(jié)果寫到Doris中
126.DWS_首頁、詳情頁聚合統(tǒng)計思路分析
127.DWS_首頁、詳情頁聚合統(tǒng)計代碼實現(xiàn)
128.DWS_獨立用戶以及回流用戶聚合統(tǒng)計思路分析
129.DWS_獨立用戶以及回流用戶聚合統(tǒng)計代碼實現(xiàn)
130.DWS_加購獨立用戶思路分析
131.DWS_加購獨立用戶代碼實現(xiàn)
132.DWS_SKU粒度下單聚合統(tǒng)計需求分析
133.DWS_SKU粒度下單聚合統(tǒng)計開發(fā)思路
134.DWS_從Kafka中讀取數(shù)據(jù)并轉(zhuǎn)換為JSON對象
135.DWS_狀態(tài)+定時器實現(xiàn)去重
136.DWS_狀態(tài)+抵消實現(xiàn)去重
137.DWS_封裝為統(tǒng)計的實體類對象
138.DWS_分組、開窗、聚合計算以及測試可能遇到的問題
139.DWS_在HBaseUtil中封裝查詢維度的方法
140.DWS_維度關(guān)聯(lián)最基本的實現(xiàn)方式
141.DWS_旁路緩存思路分析
142.DWS_封裝RedisUtil工具類
143.DWS_在Redis工具類提供讀寫數(shù)據(jù)的方法
144.DWS_旁路緩存代碼實現(xiàn)
145.DWS_維度數(shù)據(jù)發(fā)生變化清除緩存數(shù)據(jù)
146.DWS_關(guān)聯(lián)SPU維度
147.DWS_抽取旁路緩存模板
148.DWS_通過旁路緩存模板關(guān)聯(lián)SKU維度
149.DWS_異步IO介紹
150.DWS_封裝異步操作Redis的方法
151.DWS_封裝異步操作HBase的方法
152.DWS_發(fā)送異步請求關(guān)聯(lián)Sku維度的基本實現(xiàn)
153.DWS_發(fā)送異步請求關(guān)聯(lián)Spu維度以及抽取模板
154.DWS_發(fā)送異步關(guān)聯(lián)維度模板代碼實現(xiàn)
155.DWS_發(fā)送異步請求關(guān)聯(lián)SKU維度
156.DWS_關(guān)聯(lián)其它維度并將結(jié)果寫到Doris
157.DWS_Sku粒度下單聚合統(tǒng)計總結(jié)
158.DWS_省份粒度下單聚合統(tǒng)計
159.DWS_去重
160.DWS_封裝統(tǒng)計的實體類對象
161.DWS_分組、開窗、聚合計算
162.DWS_關(guān)聯(lián)維度并將結(jié)果寫到Doris
163.ADS_ADS層介紹
164.ADS_環(huán)境準備
165.ADS_總交易額統(tǒng)計思路分析
166.ADS_總交易額統(tǒng)計代碼實現(xiàn)
167.ADS_總交易額大屏展示
168.ADS_省份交易額統(tǒng)計思路分析
169.ADS_省份交易額統(tǒng)計代碼實現(xiàn)
170.ADS_渠道獨立訪客數(shù)統(tǒng)計思路分析
171.ADS_渠道獨立訪客數(shù)統(tǒng)計代碼實現(xiàn)
172.ADS_渠道獨立訪客大屏展示以及常見錯誤避坑
173.ADS_總交易額實時展示
174.部署_打包
175.部署_部署前準備工作
176.部署_手動部署到服務(wù)器
177.部署_StreamPark介紹
178.部署_StreamPark安裝
179.部署_StreamPark其它配置
180.部署_StreamPark中新建項目
181.部署_構(gòu)建項目
182.部署_發(fā)布啟動作業(yè)
183.部署_合并分支
184.總結(jié)
