金融審批實(shí)時數(shù)倉項(xiàng)目

金融審批實(shí)時數(shù)倉項(xiàng)目共分三大部分：實(shí)時數(shù)倉架構(gòu)介紹、數(shù)倉模型搭建、Sugar可視化大屏展示。金融審批實(shí)時數(shù)倉項(xiàng)目延續(xù)了離線數(shù)倉的業(yè)務(wù)邏輯，以金融租賃業(yè)務(wù)線為主題，從審批流程一直到設(shè)備租賃，完整地對金融租賃業(yè)務(wù)進(jìn)行了各個流程的實(shí)時數(shù)據(jù)分析。

項(xiàng)目以金融審批采集項(xiàng)目為前置基礎(chǔ)，使用采集項(xiàng)目中搭建的虛擬機(jī)環(huán)境，讀取采集項(xiàng)目實(shí)時監(jiān)控的業(yè)務(wù)數(shù)據(jù)，對數(shù)據(jù)進(jìn)行實(shí)時的分析計算，最終得到指標(biāo)需求結(jié)果，寫出到Doris之后，使用Sugar進(jìn)行可視化展示。

項(xiàng)目使用的框架包括：Hadoop、Kafka、Flume、Maxwell、Flink、HBase、Phoenix、Redis、Doris、Sugar等。整套教程通過精煉的業(yè)務(wù)體系邏輯，幫助學(xué)習(xí)者快速掌握實(shí)時數(shù)倉所使用的技術(shù)手段。

教程目錄

01.金融審批實(shí)時數(shù)倉課程介紹
02.采集平臺內(nèi)容回顧
03.金融審批實(shí)時數(shù)倉搭建概念介紹
04.金融審批實(shí)時數(shù)倉基礎(chǔ)架構(gòu)介紹
05.金融審批實(shí)時數(shù)倉具體開發(fā)層級介紹
06.數(shù)倉建模ER模型介紹
07.數(shù)倉建模ER模型三范式介紹
08.數(shù)倉建模維度模型介紹
09.維度建模事實(shí)表簡單概述
10.維度建模事務(wù)型事實(shí)表介紹
11.維度建模周期快照事實(shí)表
12.維度建模累積快照事實(shí)表
13.維度建模維度表設(shè)計流程
14.維度表設(shè)計規(guī)范化和反規(guī)范化
15.維度表設(shè)計維度變化的選擇
16.維度表設(shè)計多值維度和多值屬性
17.數(shù)倉分層規(guī)劃介紹
18.數(shù)倉構(gòu)建流程簡單介紹
19.數(shù)倉構(gòu)建數(shù)據(jù)調(diào)研
20.數(shù)倉構(gòu)建明確數(shù)據(jù)域
21.數(shù)倉構(gòu)建業(yè)務(wù)總線矩陣和維度模型設(shè)計
22.數(shù)倉構(gòu)建指標(biāo)分析和匯總模型設(shè)計
23.IDEA環(huán)境準(zhǔn)備
24.Flink的環(huán)境準(zhǔn)備
25.HBase的環(huán)境部署
26.Redis的環(huán)境部署
27.Doris的FE部署
28.Doris的BE集群安裝部署
29.Doris的BE集群bug解決
30.實(shí)時數(shù)倉ODS層開發(fā)
31.DIM_動態(tài)拆分維度表原理介紹
32.DIM_動態(tài)拆分維度表整體流程介紹
33.DIM_FlinkCDC的基礎(chǔ)介紹
34.DIM_FlinkCDC的使用演示
35.DIM_Flink讀取Kafka數(shù)據(jù)
36.DIM_整體流程介紹及封裝創(chuàng)建環(huán)境方法
37.DIM_工具類讀取Topic_db原始數(shù)據(jù)
38.DIM_讀取MySQL配置表數(shù)據(jù)
39.DIM_HBase創(chuàng)建關(guān)閉連接方法封裝
40.DIM_HBase創(chuàng)建表格的代碼實(shí)現(xiàn)
41.DIM_完成HBase創(chuàng)建表格的流程
42.DIM_合并兩條流的數(shù)據(jù)確定處理方法
43.DIM_處理合并流數(shù)據(jù)的核心方法編寫
44.DIM_初始化配置數(shù)據(jù)解決主流數(shù)據(jù)過早到的問題
45.DIM_寫出數(shù)據(jù)函數(shù)結(jié)構(gòu)編寫
46.DIM_HBase刪除寫入數(shù)據(jù)方法編寫
47.DIM_數(shù)據(jù)寫出演示
48.DWD_整體流程介紹
49.DWD_讀取業(yè)務(wù)數(shù)據(jù)篩選業(yè)務(wù)表格
50.DWD_按照授信id進(jìn)行分組
51.DWD_動態(tài)分流數(shù)據(jù)狀態(tài)介紹
52.DWD_完成數(shù)據(jù)分流的結(jié)構(gòu)介紹
53.DWD_審批三種狀態(tài)的數(shù)據(jù)處理
54.DWD_添加批復(fù)狀態(tài)補(bǔ)全審批通過的信息
55.DWD_審批通過與新增授信合同制作數(shù)據(jù)先后問題
56.DWD_審批拒絕和審批取消的數(shù)據(jù)處理方式
57.DWD_批復(fù)數(shù)據(jù)后到的處理方式
58.DWD_授信表數(shù)據(jù)后到的處理編寫
59.DWD_審批域數(shù)據(jù)寫出到對應(yīng)的Kafka主題
60.DWD_授信域數(shù)據(jù)分流寫出到對應(yīng)的Kafka主題
61.DWD_合并合同制作及合同表數(shù)據(jù)流
62.DWD_分流處理租賃域數(shù)據(jù)架構(gòu)
63.DWD_完成租賃域數(shù)據(jù)分流
64.DWD_租賃域數(shù)據(jù)寫出
65.DWD_數(shù)據(jù)測試及bug解決
66.DWS_審批通過各行業(yè)各方向各信審經(jīng)辦窗口統(tǒng)計結(jié)構(gòu)介紹
67.DWS_審批通過聚合讀取數(shù)據(jù)及類型轉(zhuǎn)換
68.DWS_審批通過數(shù)據(jù)分組開窗聚合
69.DWS_使用泛型異步讀取DIM層數(shù)據(jù)介紹
70.DWS_HBase的異步連接及讀取數(shù)據(jù)架構(gòu)介紹
71.DWS_實(shí)現(xiàn)三級行業(yè)名稱和二級行業(yè)id的維度關(guān)聯(lián)
72.DWS_使用Redis實(shí)現(xiàn)旁路緩存優(yōu)化
73.DWS_完成全部的維度關(guān)聯(lián)
74.DWS_自定義工具將Bean轉(zhuǎn)JsonString
75.DWS_自定義注解過濾不需要的屬性
76.DWS_將窗口聚合數(shù)據(jù)寫出到Doris中
77.DWS_審批取消各維度窗口聚合代碼編寫
78.DWS_審批取消業(yè)務(wù)關(guān)聯(lián)維度數(shù)據(jù)及寫出到Doris
79.DWS_審批拒絕窗口匯總聚合
80.DWS_信審經(jīng)辦審批通過的窗口聚合數(shù)據(jù)
81.DWS_信審經(jīng)辦業(yè)務(wù)員審批通過數(shù)據(jù)寫出
82.DWS_信審經(jīng)辦粒度審批取消窗口匯總
83.DWS_信審經(jīng)辦粒度拒絕窗口匯總
84.DWS_授信新增窗口匯總
85.DWS_授信占用窗口匯總
86.DWS_合同制作窗口匯總
87.DWS_合同簽約各窗口匯總
88.DWS_合同起租各窗口匯總
89.可視化_Sugar使用方式介紹
90.可視化_數(shù)據(jù)接口的結(jié)構(gòu)介紹
91.可視化_內(nèi)網(wǎng)穿透介紹
92.可視化_漸變色各方向?qū)徟ㄟ^圖形可視化展示