尚硅谷金融審批數(shù)倉(cāng)項(xiàng)目
金融審批數(shù)倉(cāng)項(xiàng)目共分三大部分：數(shù)倉(cāng)采集環(huán)境搭建、數(shù)倉(cāng)分層計(jì)算、SuperSet可視化大屏展示。項(xiàng)目的核心內(nèi)容為金融審批業(yè)務(wù)的連續(xù)階段性分析，采用了特殊的事實(shí)表建模完成里程碑生命周期業(yè)務(wù)的便捷統(tǒng)計(jì)。
教程帶你從0到1完成數(shù)倉(cāng)框架環(huán)境搭建、數(shù)倉(cāng)建模分析，以及最終數(shù)據(jù)的可視化展示。幫助學(xué)習(xí)者深入了解數(shù)倉(cāng)建模理論體系及實(shí)際應(yīng)用，對(duì)金融系統(tǒng)中特殊的階段性業(yè)務(wù)分析，提供了有效的解決方法。
教程目錄
001.金融審批數(shù)倉(cāng)教程簡(jiǎn)介
002.數(shù)據(jù)倉(cāng)庫(kù)概述
003.數(shù)據(jù)倉(cāng)庫(kù)項(xiàng)目需求介紹
004.數(shù)據(jù)倉(cāng)庫(kù)技術(shù)選型
005.數(shù)據(jù)倉(cāng)庫(kù)整體流程設(shè)計(jì)
006.框架版本選擇介紹
007.服務(wù)器選型介紹
008.集群資源規(guī)劃設(shè)計(jì)
009.金融租賃業(yè)務(wù)簡(jiǎn)單介紹
010.金融租賃業(yè)務(wù)流程簡(jiǎn)單介紹
011.金融租賃業(yè)務(wù)流程細(xì)節(jié)內(nèi)容介紹
012.金融審批表結(jié)構(gòu)介紹
013.環(huán)境準(zhǔn)備_使用模板機(jī)創(chuàng)建3臺(tái)虛擬機(jī)
014.環(huán)境準(zhǔn)備_使用阿里云簡(jiǎn)介
015.環(huán)境準(zhǔn)備_集群分發(fā)腳本配置及使用
016.SSH免密登錄的配置
017.SSH免密登錄的使用
018.JDK的安裝部署
019.環(huán)境變量配置的介紹
020.集群查看腳本編寫
021.Hadoop部署_基礎(chǔ)配置文件編寫
022.Hadoop的安裝部署及啟動(dòng)
023.Hadoop的群起群停腳本介紹
024.Hadoop的參數(shù)調(diào)優(yōu)
025.MySQL的安裝部署
026.數(shù)據(jù)生成腳本介紹
027.使用EZDML梳理業(yè)務(wù)表格關(guān)系
028.ZooKeeper的安裝部署介紹
029.ZooKeeper的客戶端使用
030.Kafka的安裝部署
031.Kafka的啟動(dòng)停止以及群起群停腳本編寫
032.Kafka的基礎(chǔ)命令行操作演示
033.Flume的安裝部署
034.Flume的內(nèi)存調(diào)優(yōu)經(jīng)驗(yàn)介紹
035.Maxwell的簡(jiǎn)單介紹
036.Maxwell的原理介紹
037.Maxwell的安裝部署
038.Maxwell的啟動(dòng)和使用展示
039.Maxwell的停止和腳本介紹
040.Maxwell的Bootstrap功能
041.數(shù)據(jù)同步策略介紹
042.數(shù)據(jù)同步工具選擇
043.DataX的基礎(chǔ)介紹
044.DataX架構(gòu)原理
045.DataX運(yùn)行流程
046.DataX的安裝部署及使用方法介紹
047.DataX同步MySQL數(shù)據(jù)到HDFS
048.DataX解決同步Null不同步的問(wèn)題
049.DataX的QuerySQL模式和配置文件傳參
050.使用DataX完成HDFS數(shù)據(jù)導(dǎo)出到MySQL
051.DataX的優(yōu)化及內(nèi)存調(diào)節(jié)
052.同步全量表數(shù)據(jù)演示
053.DataX自動(dòng)生成配置文件演示
054.DataX全量導(dǎo)入數(shù)據(jù)腳本單表導(dǎo)入方法編寫
055.DataX全量導(dǎo)入數(shù)據(jù)多表導(dǎo)入及功能完善
056.增量數(shù)據(jù)采集的Flume配置文件編寫
057.增量數(shù)據(jù)采集Flume攔截器功能介紹
058.增量數(shù)據(jù)采集Flume攔截器代碼編寫
059.業(yè)務(wù)數(shù)據(jù)Flume攔截器的使用
060.增量業(yè)務(wù)數(shù)據(jù)采集的Flume啟停腳本
061.增量業(yè)務(wù)數(shù)據(jù)首日全量同步腳本運(yùn)行
062.Hive的安裝部署
063.離線數(shù)倉(cāng)的概述及核心架構(gòu)
064.數(shù)倉(cāng)建模ER模型介紹
065.數(shù)倉(cāng)建模ER模型三范式介紹
066.數(shù)倉(cāng)建模維度模型介紹
067.維度建模事實(shí)表簡(jiǎn)單概述
068.維度建模事務(wù)型事實(shí)表介紹
069.維度建模周期快照事實(shí)表和累積性快照事實(shí)表
070.維度建模維度表設(shè)計(jì)流程
071.維度表設(shè)計(jì)規(guī)范化和反規(guī)范化
072.維度表設(shè)計(jì)維度變化的選擇
073.維度表設(shè)計(jì)多值維度和多值屬性
074.數(shù)倉(cāng)設(shè)計(jì)分層規(guī)劃
075.數(shù)倉(cāng)設(shè)計(jì)之?dāng)?shù)據(jù)調(diào)研
076.數(shù)倉(cāng)設(shè)計(jì)之明確數(shù)據(jù)域
077.數(shù)倉(cāng)設(shè)計(jì)之構(gòu)建業(yè)務(wù)總線矩陣
078.數(shù)倉(cāng)設(shè)計(jì)之指標(biāo)體系分析
079.Hive的執(zhí)行引擎介紹
080.Hive替換Spark引擎的完整展示
081.AM資源比例參數(shù)介紹
082.數(shù)倉(cāng)開(kāi)發(fā)工具DataGrip介紹
083.模擬數(shù)據(jù)的采集同步
084.Hive常見(jiàn)問(wèn)題的解決
085.ODS設(shè)計(jì)總體原則
086.ODS_全量客戶表數(shù)據(jù)裝載
087.ODS_使用get_json_object方法來(lái)解析Json
088.ODS_使用JsonSerde解析增量表數(shù)據(jù)
089.ODS_創(chuàng)建所有的表格修復(fù)已有的分區(qū)
090.ODS_腳本數(shù)據(jù)裝載的編寫和使用
091.DIM_部門維度表裝載
092.DIM_員工和行業(yè)維度表裝載
093.DIM_腳本數(shù)據(jù)裝載
094.DWD_整體需求介紹
095.DWD_累積快照事實(shí)表分區(qū)設(shè)計(jì)
096.DWD_數(shù)據(jù)裝載情況介紹
097.DWD_累積快照事實(shí)表基礎(chǔ)表格數(shù)據(jù)聚合
098.DWD_累積快照事實(shí)表的首日裝載
099.DWD_累積快照事實(shí)表初始數(shù)據(jù)的聚合
100.DWD_累積快照事實(shí)表每日裝載
101.DWD_腳本數(shù)據(jù)裝載
102.ADS_待審主題綜合統(tǒng)計(jì)
103.ADS_待審數(shù)據(jù)各業(yè)務(wù)方向統(tǒng)計(jì)和各部門統(tǒng)計(jì)
104.ADS_業(yè)務(wù)經(jīng)辦和信審經(jīng)辦的審核數(shù)據(jù)統(tǒng)計(jì)
105.ADS_各行業(yè)審核數(shù)據(jù)統(tǒng)計(jì)
106.ADS_審批結(jié)束數(shù)據(jù)綜合統(tǒng)計(jì)
107.ADS_審批結(jié)束數(shù)據(jù)各業(yè)務(wù)方向和各部門聚合統(tǒng)計(jì)
108.ADS_審批結(jié)束數(shù)據(jù)各業(yè)務(wù)經(jīng)辦和信審經(jīng)辦聚合統(tǒng)計(jì)
109.ADS_審批結(jié)束各行業(yè)統(tǒng)計(jì)
110.ADS_轉(zhuǎn)換數(shù)據(jù)統(tǒng)計(jì)數(shù)據(jù)計(jì)算
111.ADS_轉(zhuǎn)換數(shù)據(jù)統(tǒng)計(jì)導(dǎo)入及ADS需求總結(jié)
112.腳本數(shù)據(jù)裝載
113.導(dǎo)出數(shù)據(jù)樣例演示
114.使用腳本完成DataX的數(shù)據(jù)導(dǎo)出
115.DolphinSchedule基礎(chǔ)概述
116.DolphinScheduler架構(gòu)介紹
117.DolphinSchedule的安裝部署
118.DolphinSchedule簡(jiǎn)單任務(wù)的執(zhí)行演示
119.DolphinSchedule的定時(shí)和傳參功能
120.DolphinSchedule的依賴資源和告警功能介紹
121.新數(shù)據(jù)生成及單機(jī)DolphinSchedule啟動(dòng)
122.DolphinSchedule完成全流程調(diào)度
123.可視化_虛擬環(huán)境安裝部署
124.SuperSet的安裝部署
125.SuperSet的可視化展示演示
126.金融審批項(xiàng)目采集總結(jié)
127.金融審批項(xiàng)目數(shù)倉(cāng)總結(jié)
