尚硅谷金融審批數(shù)倉項目
金融審批數(shù)倉項目共分三大部分：數(shù)倉采集環(huán)境搭建、數(shù)倉分層計算、SuperSet可視化大屏展示。項目的核心內(nèi)容為金融審批業(yè)務(wù)的連續(xù)階段性分析，采用了特殊的事實表建模完成里程碑生命周期業(yè)務(wù)的便捷統(tǒng)計。
教程帶你從0到1完成數(shù)倉框架環(huán)境搭建、數(shù)倉建模分析，以及最終數(shù)據(jù)的可視化展示。幫助學(xué)習(xí)者深入了解數(shù)倉建模理論體系及實際應(yīng)用，對金融系統(tǒng)中特殊的階段性業(yè)務(wù)分析，提供了有效的解決方法。
教程目錄
001.金融審批數(shù)倉教程簡介
002.數(shù)據(jù)倉庫概述
003.數(shù)據(jù)倉庫項目需求介紹
004.數(shù)據(jù)倉庫技術(shù)選型
005.數(shù)據(jù)倉庫整體流程設(shè)計
006.框架版本選擇介紹
007.服務(wù)器選型介紹
008.集群資源規(guī)劃設(shè)計
009.金融租賃業(yè)務(wù)簡單介紹
010.金融租賃業(yè)務(wù)流程簡單介紹
011.金融租賃業(yè)務(wù)流程細節(jié)內(nèi)容介紹
012.金融審批表結(jié)構(gòu)介紹
013.環(huán)境準備_使用模板機創(chuàng)建3臺虛擬機
014.環(huán)境準備_使用阿里云簡介
015.環(huán)境準備_集群分發(fā)腳本配置及使用
016.SSH免密登錄的配置
017.SSH免密登錄的使用
018.JDK的安裝部署
019.環(huán)境變量配置的介紹
020.集群查看腳本編寫
021.Hadoop部署_基礎(chǔ)配置文件編寫
022.Hadoop的安裝部署及啟動
023.Hadoop的群起群停腳本介紹
024.Hadoop的參數(shù)調(diào)優(yōu)
025.MySQL的安裝部署
026.數(shù)據(jù)生成腳本介紹
027.使用EZDML梳理業(yè)務(wù)表格關(guān)系
028.ZooKeeper的安裝部署介紹
029.ZooKeeper的客戶端使用
030.Kafka的安裝部署
031.Kafka的啟動停止以及群起群停腳本編寫
032.Kafka的基礎(chǔ)命令行操作演示
033.Flume的安裝部署
034.Flume的內(nèi)存調(diào)優(yōu)經(jīng)驗介紹
035.Maxwell的簡單介紹
036.Maxwell的原理介紹
037.Maxwell的安裝部署
038.Maxwell的啟動和使用展示
039.Maxwell的停止和腳本介紹
040.Maxwell的Bootstrap功能
041.數(shù)據(jù)同步策略介紹
042.數(shù)據(jù)同步工具選擇
043.DataX的基礎(chǔ)介紹
044.DataX架構(gòu)原理
045.DataX運行流程
046.DataX的安裝部署及使用方法介紹
047.DataX同步MySQL數(shù)據(jù)到HDFS
048.DataX解決同步Null不同步的問題
049.DataX的QuerySQL模式和配置文件傳參
050.使用DataX完成HDFS數(shù)據(jù)導(dǎo)出到MySQL
051.DataX的優(yōu)化及內(nèi)存調(diào)節(jié)
052.同步全量表數(shù)據(jù)演示
053.DataX自動生成配置文件演示
054.DataX全量導(dǎo)入數(shù)據(jù)腳本單表導(dǎo)入方法編寫
055.DataX全量導(dǎo)入數(shù)據(jù)多表導(dǎo)入及功能完善
056.增量數(shù)據(jù)采集的Flume配置文件編寫
057.增量數(shù)據(jù)采集Flume攔截器功能介紹
058.增量數(shù)據(jù)采集Flume攔截器代碼編寫
059.業(yè)務(wù)數(shù)據(jù)Flume攔截器的使用
060.增量業(yè)務(wù)數(shù)據(jù)采集的Flume啟停腳本
061.增量業(yè)務(wù)數(shù)據(jù)首日全量同步腳本運行
062.Hive的安裝部署
063.離線數(shù)倉的概述及核心架構(gòu)
064.數(shù)倉建模ER模型介紹
065.數(shù)倉建模ER模型三范式介紹
066.數(shù)倉建模維度模型介紹
067.維度建模事實表簡單概述
068.維度建模事務(wù)型事實表介紹
069.維度建模周期快照事實表和累積性快照事實表
070.維度建模維度表設(shè)計流程
071.維度表設(shè)計規(guī)范化和反規(guī)范化
072.維度表設(shè)計維度變化的選擇
073.維度表設(shè)計多值維度和多值屬性
074.數(shù)倉設(shè)計分層規(guī)劃
075.數(shù)倉設(shè)計之?dāng)?shù)據(jù)調(diào)研
076.數(shù)倉設(shè)計之明確數(shù)據(jù)域
077.數(shù)倉設(shè)計之構(gòu)建業(yè)務(wù)總線矩陣
078.數(shù)倉設(shè)計之指標體系分析
079.Hive的執(zhí)行引擎介紹
080.Hive替換Spark引擎的完整展示
081.AM資源比例參數(shù)介紹
082.數(shù)倉開發(fā)工具DataGrip介紹
083.模擬數(shù)據(jù)的采集同步
084.Hive常見問題的解決
085.ODS設(shè)計總體原則
086.ODS_全量客戶表數(shù)據(jù)裝載
087.ODS_使用get_json_object方法來解析Json
088.ODS_使用JsonSerde解析增量表數(shù)據(jù)
089.ODS_創(chuàng)建所有的表格修復(fù)已有的分區(qū)
090.ODS_腳本數(shù)據(jù)裝載的編寫和使用
091.DIM_部門維度表裝載
092.DIM_員工和行業(yè)維度表裝載
093.DIM_腳本數(shù)據(jù)裝載
094.DWD_整體需求介紹
095.DWD_累積快照事實表分區(qū)設(shè)計
096.DWD_數(shù)據(jù)裝載情況介紹
097.DWD_累積快照事實表基礎(chǔ)表格數(shù)據(jù)聚合
098.DWD_累積快照事實表的首日裝載
099.DWD_累積快照事實表初始數(shù)據(jù)的聚合
100.DWD_累積快照事實表每日裝載
101.DWD_腳本數(shù)據(jù)裝載
102.ADS_待審主題綜合統(tǒng)計
103.ADS_待審數(shù)據(jù)各業(yè)務(wù)方向統(tǒng)計和各部門統(tǒng)計
104.ADS_業(yè)務(wù)經(jīng)辦和信審經(jīng)辦的審核數(shù)據(jù)統(tǒng)計
105.ADS_各行業(yè)審核數(shù)據(jù)統(tǒng)計
106.ADS_審批結(jié)束數(shù)據(jù)綜合統(tǒng)計
107.ADS_審批結(jié)束數(shù)據(jù)各業(yè)務(wù)方向和各部門聚合統(tǒng)計
108.ADS_審批結(jié)束數(shù)據(jù)各業(yè)務(wù)經(jīng)辦和信審經(jīng)辦聚合統(tǒng)計
109.ADS_審批結(jié)束各行業(yè)統(tǒng)計
110.ADS_轉(zhuǎn)換數(shù)據(jù)統(tǒng)計數(shù)據(jù)計算
111.ADS_轉(zhuǎn)換數(shù)據(jù)統(tǒng)計導(dǎo)入及ADS需求總結(jié)
112.腳本數(shù)據(jù)裝載
113.導(dǎo)出數(shù)據(jù)樣例演示
114.使用腳本完成DataX的數(shù)據(jù)導(dǎo)出
115.DolphinSchedule基礎(chǔ)概述
116.DolphinScheduler架構(gòu)介紹
117.DolphinSchedule的安裝部署
118.DolphinSchedule簡單任務(wù)的執(zhí)行演示
119.DolphinSchedule的定時和傳參功能
120.DolphinSchedule的依賴資源和告警功能介紹
121.新數(shù)據(jù)生成及單機DolphinSchedule啟動
122.DolphinSchedule完成全流程調(diào)度
123.可視化_虛擬環(huán)境安裝部署
124.SuperSet的安裝部署
125.SuperSet的可視化展示演示
126.金融審批項目采集總結(jié)
127.金融審批項目數(shù)倉總結(jié)
