Flink實(shí)時(shí)數(shù)倉(cāng)5.0教程發(fā)布
-------------------------------------------
教程簡(jiǎn)介：
在當(dāng)今電商行業(yè)競(jìng)爭(zhēng)激烈的環(huán)境下，數(shù)據(jù)實(shí)時(shí)處理與分析成為企業(yè)取得成功的關(guān)鍵因素之一。實(shí)時(shí)處理領(lǐng)域，F(xiàn)link被普遍認(rèn)為是下一代大數(shù)據(jù)流計(jì)算引擎，本項(xiàng)目基于Flink實(shí)現(xiàn)電商實(shí)時(shí)數(shù)倉(cāng)，利用Flink強(qiáng)大的功能，實(shí)時(shí)采集、處理和存儲(chǔ)電商業(yè)務(wù)中的海量數(shù)據(jù)，并為企業(yè)提供了全面、深入的數(shù)據(jù)分析能力。
教程通過(guò)思路分析、畫(huà)圖演示、代碼開(kāi)發(fā)等多維方式，對(duì)數(shù)倉(cāng)的構(gòu)架過(guò)程及整體實(shí)現(xiàn)進(jìn)行了詳細(xì)的講解。相較于實(shí)時(shí)數(shù)倉(cāng)項(xiàng)目4.0，升級(jí)了項(xiàng)目架構(gòu)設(shè)計(jì)和各個(gè)軟件的版本，并采用GitFlow任務(wù)流的形式對(duì)整體項(xiàng)目進(jìn)行版本控制，使用StreamPark對(duì)項(xiàng)目進(jìn)行部署和監(jiān)控。
項(xiàng)目采用的軟件及版本：Flink 1.17.1、Hadoop 3.3.4、Flume 1.10.1、Zookeeper 3.7.1、Kafka 3.6.1、Maxwell 1.29.2、Redis 6.0.8、HBase 2.4.11、Doris 2.1.0、StreamPark 2.1.4、FlinkCDC 2.4.2、MySQL 8.0.31等。
-------------------------------------------
教程目錄：
001.課程介紹
002.基礎(chǔ)_數(shù)倉(cāng)基本概念
003.基礎(chǔ)_離線數(shù)倉(cāng)架
004.基礎(chǔ)_實(shí)時(shí)數(shù)倉(cāng)架構(gòu)
005.基礎(chǔ)_ER模型和維度建模
006.基礎(chǔ)_事實(shí)表和維度表
007.基礎(chǔ)_數(shù)倉(cāng)構(gòu)建流程
008.基礎(chǔ)_項(xiàng)目架構(gòu)以及代碼版本控制方式介紹
009.基礎(chǔ)_IDEA開(kāi)發(fā)環(huán)境搭建
010.環(huán)境準(zhǔn)備_GitLab的安裝
011.環(huán)境準(zhǔn)備_GitLab的其它配置
012.環(huán)境準(zhǔn)備_創(chuàng)建用戶以及群組
013.環(huán)境準(zhǔn)備_將初始代碼推送到GitLab倉(cāng)庫(kù)
014.環(huán)境準(zhǔn)備_設(shè)置Kafka分區(qū)數(shù)
015.ODS_日志數(shù)據(jù)采集
016.ODS_配置binlog記錄業(yè)務(wù)數(shù)據(jù)變化
017.ODS_Maxwell的安裝與配置
018.ODS_Maxwell同步數(shù)據(jù)測(cè)試
019.DIM_思路分析_基本流程
020.DIM_思路分析_引入配置表
021.DIM_思路分析_引入FlinkCDC
022.DIM_思路分析_配置表字段完善
023.DIM_FlinkCDC的使用
024.DIM_配置表的創(chuàng)建以及切換開(kāi)發(fā)分支
025.DIM_開(kāi)發(fā)思路分析
026.DIM_基本環(huán)境準(zhǔn)備以及檢查點(diǎn)設(shè)置
027.DIM_從Kafka主題中讀取數(shù)據(jù)
028.DIM_轉(zhuǎn)換流中數(shù)據(jù)類型以及Maxwell問(wèn)題說(shuō)明
029.DIM_使用FlinkCDC讀取配置表數(shù)據(jù)
030.DIM_將配置流數(shù)據(jù)類型封裝為實(shí)體類對(duì)象
031.DIM_封裝HBaseUtil工具類
032.DIM_在HBase中建表
033.DIM_廣播配置流并和主流進(jìn)行關(guān)聯(lián)
034.DIM_處理廣播流數(shù)據(jù)
035.DIM_處理主流數(shù)據(jù)
036.DIM_過(guò)濾掉不需要傳遞的字段
037.DIM_主流數(shù)據(jù)先到問(wèn)題分析
038.DIM_在open方法中預(yù)加載配置信息
039.DIM_將維度數(shù)據(jù)同步到HBase表中
040.DIM_封裝FlinkSourceUtil工具類
041.DIM_抽取單獨(dú)的處理函數(shù)類
042.DIM_抽取BaseApp基類
043.DIM_抽取方法
044.DIM_封裝JdbcUtil工具類
045.DIM_DIM層總結(jié)
046.DWD_DWD層介紹
047.DWD_日志分流思路分析
048.DWD_開(kāi)發(fā)思路分析
049.DWD_將臟數(shù)據(jù)放到側(cè)輸出流
050.DWD_創(chuàng)建KafkaSink對(duì)象以及Kafka一致性保證
051.DWD_抽取FlinkSinkUtil以及臟數(shù)據(jù)寫(xiě)到Kafka
052.DWD_新老訪客標(biāo)記修復(fù)思路
053.DWD_新老訪客標(biāo)記修復(fù)代碼實(shí)現(xiàn)
054.DWD_埋點(diǎn)日志結(jié)構(gòu)分析
055.DWD_分流代碼實(shí)現(xiàn)
056.DWD_將不同流的數(shù)據(jù)寫(xiě)到Kafka主題
057.DWD_抽取方法以及提交代碼到GitLab
058.DWD_評(píng)論事實(shí)表思路分析
059.DWD_FlinkAPI雙流Join介紹
060.DWD_內(nèi)連接
061.DWD_左外連接
062.DWD_右外連接以及全外連接
063.DWD_左外連接結(jié)果寫(xiě)到Kafka主題
064.DWD_從Kafka主題中讀取數(shù)據(jù)
065.DWD_從HBase表中讀取數(shù)據(jù)
066.DWD_lookupJoin關(guān)聯(lián)
067.DWD_將關(guān)聯(lián)結(jié)果寫(xiě)到Kafka主題
068.DWD_評(píng)論事實(shí)表開(kāi)發(fā)思路以及環(huán)境準(zhǔn)備
069.DWD_從topic_db主題中讀取數(shù)據(jù)
070.DWD_過(guò)濾出評(píng)論數(shù)據(jù)
071.DWD_從Hbase中讀取字典表數(shù)據(jù)
072.DWD_關(guān)聯(lián)評(píng)論表和字典表
073.DWD_將關(guān)聯(lián)的結(jié)果寫(xiě)到Kafka主題
074.DWD_抽取工具類封裝獲取連接器屬性的方法
075.DWD_抽取BaseSQLApp基類以及通用的建表方法
076.DWD_加購(gòu)事實(shí)表開(kāi)發(fā)思路分析
077.DWD_過(guò)濾出insert類型的加購(gòu)數(shù)據(jù)
078.DWD_過(guò)濾出update類型的加購(gòu)數(shù)據(jù)以及寫(xiě)到Kafka
079.DWD_下單事實(shí)表思路分析
080.DWD_下單事實(shí)表代碼實(shí)現(xiàn)
081.DWD_取消訂單事實(shí)表整體實(shí)現(xiàn)
082.DWD_支付成功事實(shí)表思路分析
083.DWD_支付成功事實(shí)表代碼實(shí)現(xiàn)
084.DWD_退單事實(shí)表整體實(shí)現(xiàn)(了解業(yè)務(wù))
085.DWD_退款成功事實(shí)表整體實(shí)現(xiàn)(了解業(yè)務(wù))
086.DWD_其它事實(shí)表實(shí)現(xiàn)思路分析
087.DWD_事實(shí)表動(dòng)態(tài)分流思路
088.DWD_開(kāi)發(fā)思路分析
089.DWD_業(yè)務(wù)數(shù)據(jù)以及配置表數(shù)據(jù)讀取
090.DWD_在open方法中預(yù)加載配置信息
091.DWD_處理廣播流中的配置信息
092.DWD_處理主流中的業(yè)務(wù)數(shù)據(jù)
093.DWD_將動(dòng)態(tài)分流的事實(shí)表寫(xiě)到Kafka主題
094.DWS層介紹
095.Doris_Doris介紹
096.Doris_安裝前準(zhǔn)備工作
097.Doris_Doris安裝以及FE的配置
098.Doris_BE的配置
099.Doris_FE與BE的擴(kuò)容和縮容
100.Doris_基本概念
101.Doris_Aggregate模型
102.Doris_Unique模型和Duplicate模型
103.Doris_建表其它操作
104.Doris_Range分區(qū)
105.Doris_List分區(qū)以及分區(qū)相關(guān)概念
106.Doris_動(dòng)態(tài)分區(qū)
107.Doris_Rollup表
108.Doris_物化視圖
109.Doris_Flink讀寫(xiě)Doris_SQL
110.Doris_Flink讀寫(xiě)Doris_API
111.DWS_搜索關(guān)鍵詞思路分析
112.DWS_分詞工具類
113.DWS_自定義UDTF函數(shù)
114.DWS_開(kāi)發(fā)思路分析
115.DWS_讀取頁(yè)面日志數(shù)據(jù)創(chuàng)建動(dòng)態(tài)表
116.DWS_過(guò)濾出搜索行為
117.DWS_分詞并和原表字段進(jìn)行關(guān)聯(lián)
118.DWS_分組、開(kāi)窗、聚合計(jì)算
119.DWS_將聚合結(jié)果寫(xiě)到Doris
120.DWS_版本、渠道、地區(qū)、新老訪客聚合統(tǒng)計(jì)思路分析
121.DWS_讀取數(shù)據(jù)并封裝為統(tǒng)計(jì)的實(shí)體類對(duì)象
122.DWS_指定Watermark的生成策略
123.DWS_分組、開(kāi)窗
124.DWS_聚合
125.DWS_將聚合結(jié)果寫(xiě)到Doris中
126.DWS_首頁(yè)、詳情頁(yè)聚合統(tǒng)計(jì)思路分析
127.DWS_首頁(yè)、詳情頁(yè)聚合統(tǒng)計(jì)代碼實(shí)現(xiàn)
128.DWS_獨(dú)立用戶以及回流用戶聚合統(tǒng)計(jì)思路分析
129.DWS_獨(dú)立用戶以及回流用戶聚合統(tǒng)計(jì)代碼實(shí)現(xiàn)
130.DWS_加購(gòu)獨(dú)立用戶思路分析
131.DWS_加購(gòu)獨(dú)立用戶代碼實(shí)現(xiàn)
132.DWS_SKU粒度下單聚合統(tǒng)計(jì)需求分析
133.DWS_SKU粒度下單聚合統(tǒng)計(jì)開(kāi)發(fā)思路
134.DWS_從Kafka中讀取數(shù)據(jù)并轉(zhuǎn)換為JSON對(duì)象
135.DWS_狀態(tài)+定時(shí)器實(shí)現(xiàn)去重
136.DWS_狀態(tài)+抵消實(shí)現(xiàn)去重
137.DWS_封裝為統(tǒng)計(jì)的實(shí)體類對(duì)象
138.DWS_分組、開(kāi)窗、聚合計(jì)算以及測(cè)試可能遇到的問(wèn)題
139.DWS_在HBaseUtil中封裝查詢維度的方法
140.DWS_維度關(guān)聯(lián)最基本的實(shí)現(xiàn)方式
141.DWS_旁路緩存思路分析
142.DWS_封裝RedisUtil工具類
143.DWS_在Redis工具類提供讀寫(xiě)數(shù)據(jù)的方法
144.DWS_旁路緩存代碼實(shí)現(xiàn)
145.DWS_維度數(shù)據(jù)發(fā)生變化清除緩存數(shù)據(jù)
146.DWS_關(guān)聯(lián)SPU維度
147.DWS_抽取旁路緩存模板
148.DWS_通過(guò)旁路緩存模板關(guān)聯(lián)SKU維度
149.DWS_異步IO介紹
150.DWS_封裝異步操作Redis的方法
151.DWS_封裝異步操作HBase的方法
152.DWS_發(fā)送異步請(qǐng)求關(guān)聯(lián)Sku維度的基本實(shí)現(xiàn)
153.DWS_發(fā)送異步請(qǐng)求關(guān)聯(lián)Spu維度以及抽取模板
154.DWS_發(fā)送異步關(guān)聯(lián)維度模板代碼實(shí)現(xiàn)
155.DWS_發(fā)送異步請(qǐng)求關(guān)聯(lián)SKU維度
156.DWS_關(guān)聯(lián)其它維度并將結(jié)果寫(xiě)到Doris
157.DWS_Sku粒度下單聚合統(tǒng)計(jì)總結(jié)
158.DWS_省份粒度下單聚合統(tǒng)計(jì)
159.DWS_去重
160.DWS_封裝統(tǒng)計(jì)的實(shí)體類對(duì)象
161.DWS_分組、開(kāi)窗、聚合計(jì)算
162.DWS_關(guān)聯(lián)維度并將結(jié)果寫(xiě)到Doris
163.ADS_ADS層介紹
164.ADS_環(huán)境準(zhǔn)備
165.ADS_總交易額統(tǒng)計(jì)思路分析
166.ADS_總交易額統(tǒng)計(jì)代碼實(shí)現(xiàn)
167.ADS_總交易額大屏展示
168.ADS_省份交易額統(tǒng)計(jì)思路分析
169.ADS_省份交易額統(tǒng)計(jì)代碼實(shí)現(xiàn)
170.ADS_渠道獨(dú)立訪客數(shù)統(tǒng)計(jì)思路分析
171.ADS_渠道獨(dú)立訪客數(shù)統(tǒng)計(jì)代碼實(shí)現(xiàn)
172.ADS_渠道獨(dú)立訪客大屏展示以及常見(jiàn)錯(cuò)誤避坑
173.ADS_總交易額實(shí)時(shí)展示
174.部署_打包
175.部署_部署前準(zhǔn)備工作
176.部署_手動(dòng)部署到服務(wù)器
177.部署_StreamPark介紹
178.部署_StreamPark安裝
179.部署_StreamPark其它配置
180.部署_StreamPark中新建項(xiàng)目
181.部署_構(gòu)建項(xiàng)目
182.部署_發(fā)布啟動(dòng)作業(yè)
183.部署_合并分支
184.總結(jié)
