車險(xiǎn)離線數(shù)倉項(xiàng)目
車險(xiǎn)離線數(shù)倉項(xiàng)目共分三大部分：數(shù)倉采集環(huán)境搭建、數(shù)倉分層計(jì)算、SuperSet可視化大屏展示。項(xiàng)目的核心內(nèi)容為對(duì)汽車保險(xiǎn)核心業(yè)務(wù)的交易域、理賠域進(jìn)行統(tǒng)計(jì)分析。
教程帶你從0到1完成數(shù)倉框架環(huán)境搭建、數(shù)倉建模分析，以及最終數(shù)據(jù)的可視化展示。幫助學(xué)習(xí)者深入了解數(shù)倉建模理論體系及實(shí)際應(yīng)用。還是尚硅谷一貫的風(fēng)格，保姆式講解，敗家式贈(zèng)送，一站式學(xué)習(xí)，學(xué)習(xí)者參照視頻及教輔資料即可實(shí)現(xiàn)全部項(xiàng)目流程！
項(xiàng)目中使用的框架包括：Hadoop、Kafka、Flume、Zookeeper、DataX、DolphinScheduler、Hive、Maxwell、SuperSet等。教程通過精煉的業(yè)務(wù)體系邏輯，帶你快速掌握離線數(shù)倉所使用的技術(shù)手段！
教程目錄
001.數(shù)據(jù)采集課程內(nèi)容介紹
002.數(shù)據(jù)倉庫概念
003.項(xiàng)目需求分析
004.技術(shù)選型
005.系統(tǒng)流程設(shè)計(jì)
006.框架版本選擇
007.服務(wù)器選型
008.集群規(guī)模設(shè)計(jì)
009.資源規(guī)劃
010.業(yè)務(wù)流程說明
011.表結(jié)構(gòu)說明
012.安裝虛擬機(jī)
013.分發(fā)腳本
014.安裝JDK
015.環(huán)境變量配置說明
016.進(jìn)程查看腳本
017.安裝Zookeeper
018.Zookeeper啟動(dòng)腳本
019.Zookeeper客戶端常用指令
020.安裝Hadoop
021.Hadoop群起腳本
022.項(xiàng)目經(jīng)驗(yàn)之存儲(chǔ)多目錄
023.項(xiàng)目經(jīng)驗(yàn)之集群數(shù)據(jù)均衡
024.項(xiàng)目經(jīng)驗(yàn)之參數(shù)調(diào)優(yōu)
025.安裝Kafka
026.Kafka群起腳本
027.Kafka常用指令之Topic相關(guān)
028.Kafka常用指令之生產(chǎn)者和消費(fèi)者
029.Flume安裝與項(xiàng)目經(jīng)驗(yàn)
030.安裝MySQL
031.模擬生成數(shù)據(jù)
032.同步策略介紹
033.數(shù)據(jù)同步工具介紹
034.DataX簡(jiǎn)介和框架設(shè)計(jì)
035.DataX的運(yùn)行與調(diào)度
036.DataX的安裝
037.MySQL數(shù)據(jù)導(dǎo)入HDFS之TableModel模式
038.MySQL數(shù)據(jù)導(dǎo)入HDFS之Querysql模式
039.DataX傳參
040.HDFS數(shù)據(jù)導(dǎo)入到MySQL
041.DataX優(yōu)化
042.Maxwell概述和輸出數(shù)據(jù)格式
043.MySQL原理
044.安裝Maxwell
045.Maxwell啟動(dòng)腳本
046.Maxwell使用
047.生成DataX配置文件
048.全量數(shù)據(jù)導(dǎo)入腳本
049.增量數(shù)據(jù)同步-Maxwell配置
050.增量數(shù)據(jù)同步-Flume配置
051.增量數(shù)據(jù)同步-攔截器與采集
052.Maxwell時(shí)間戳問題
053.Flume啟動(dòng)腳本
054.增量首日全量同步
055.安裝Hive
056.Hive中文亂碼問題
057.車險(xiǎn)離線數(shù)倉課程內(nèi)容簡(jiǎn)介
058.數(shù)倉的概念
059.數(shù)倉架構(gòu)
060.數(shù)倉建模的意義
061.ER模型
062.維度模型
063.事實(shí)表概述
064.事務(wù)型事實(shí)表概述
065.事務(wù)型事實(shí)表的設(shè)計(jì)
066.事務(wù)型事實(shí)表的不足-存量型指標(biāo)
067.事務(wù)型事實(shí)表的不足-多事務(wù)關(guān)聯(lián)指標(biāo)
068.周期型快照事實(shí)表的概念
069.周期型快照事實(shí)表設(shè)計(jì)與事實(shí)類型
070.累積型快照事實(shí)表
071.維度表設(shè)計(jì)
072.規(guī)范化與反規(guī)范化
073.全量快照維度表
074.拉鏈表
075.多值維度
076.多值屬性
077.數(shù)據(jù)倉庫的分層
078.數(shù)倉的構(gòu)建流程
079.據(jù)調(diào)研
080.明確數(shù)據(jù)域
081.業(yè)務(wù)總線矩陣
082.明確統(tǒng)計(jì)指標(biāo)
083.維度模型與匯總模型設(shè)計(jì)
084.Hive引擎簡(jiǎn)介
085.Hive on Spark兼容性說明
086.Hive on Spark搭建
087.AM資源比例調(diào)整
088.DataGrip使用
089.模擬生成數(shù)據(jù)
090.Hive常見問題和解決方案
091.ODS層設(shè)計(jì)要點(diǎn)
092.數(shù)據(jù)格式說明
093.全量數(shù)據(jù)建表
094.復(fù)雜數(shù)據(jù)類型回顧
095.增量數(shù)據(jù)建表
096.ODS數(shù)據(jù)加載
097.DOS層部分表字段顯示問題
098.ODS層數(shù)據(jù)加載腳本
099.DIM層設(shè)計(jì)要點(diǎn)
100.地區(qū)維度表
101.保險(xiǎn)產(chǎn)品維度表
102.保險(xiǎn)經(jīng)理人維度表
103.投保人維度表首日數(shù)據(jù)加載
104.投保人維度表每日數(shù)據(jù)加載
105.車輛維度表首日數(shù)據(jù)加載
106.車輛維度表每日數(shù)據(jù)加載
107.DIM層首日數(shù)據(jù)加載腳本
108.DIM層每日數(shù)據(jù)加載腳本
109.DWD層設(shè)計(jì)要點(diǎn)
110.交易域投保事務(wù)事實(shí)表首日數(shù)據(jù)加載
111.交易域投保事務(wù)事實(shí)表每日數(shù)據(jù)加載
112.繳費(fèi)成功事實(shí)表首日數(shù)據(jù)加載
113.繳費(fèi)成功事實(shí)表每日數(shù)據(jù)加載
114.理賠域報(bào)案事務(wù)事實(shí)表數(shù)據(jù)加載
115.理賠流程累積快照事實(shí)表建表
116.理賠流程累積快照事實(shí)表首日數(shù)據(jù)加載
117.理賠流程累積快照事實(shí)表每日數(shù)據(jù)加載
118.DWD層首日數(shù)據(jù)加載腳本
119.DWD層每日數(shù)據(jù)加載腳本
120.DWD表設(shè)計(jì)要點(diǎn)
121.交易域城市車型粒度投保1日匯總表建表
122.交易域城市車型粒度投保1日匯總表數(shù)據(jù)加載
123.理賠域城市車型粒度出險(xiǎn)1日匯總表建表
124.理賠域城市車型粒度出險(xiǎn)1日匯總表數(shù)據(jù)加載
125.DWS 1d表首日數(shù)據(jù)加載腳本
126.DWS 1d表每日數(shù)據(jù)加載腳本
127.交易域城市車型粒度投保n日匯總表
128.理賠域城市車型粒度出險(xiǎn)n日匯總表
129.DWS nd表數(shù)據(jù)加載腳本
130.ADS層設(shè)計(jì)要點(diǎn)
131.交易綜合統(tǒng)計(jì)
132.續(xù)保統(tǒng)計(jì)
133.產(chǎn)品交易統(tǒng)計(jì)
134.城市交易統(tǒng)計(jì)
135.理賠綜合統(tǒng)計(jì)
136.城市理賠統(tǒng)計(jì)
137.省份理賠統(tǒng)計(jì)
138.車型理賠統(tǒng)計(jì)
139.ADS數(shù)據(jù)加載腳本
140.MySQL建庫建表
141.HDFS數(shù)據(jù)同步到MySQL案例演示
142.ADS同步數(shù)據(jù)到MySQL腳本
143.DolphinScheduler簡(jiǎn)介
144.DolphinScheduler部署說明
145.安裝DolphinScheduler
146.DolphinScheduler啟動(dòng)停止命令
147.安全中心配置
148.創(chuàng)建工作流與運(yùn)行工作流
149.定時(shí)
150.局部參數(shù)
151.全局參數(shù)
152.傳遞參數(shù)
153.參數(shù)優(yōu)先級(jí)
154.內(nèi)置參數(shù)
155.依賴資源
156.告警
157.失敗重試
158.模擬生成新數(shù)據(jù)
159.工作流調(diào)度
160.SuperSet簡(jiǎn)介
161.安裝SuperSet
162.SuperSet啟動(dòng)腳本
163.SuperSet可視化
