車(chē)險(xiǎn)離線(xiàn)數(shù)倉(cāng)項(xiàng)目
車(chē)險(xiǎn)離線(xiàn)數(shù)倉(cāng)項(xiàng)目共分三大部分：數(shù)倉(cāng)采集環(huán)境搭建、數(shù)倉(cāng)分層計(jì)算、SuperSet可視化大屏展示。項(xiàng)目的核心內(nèi)容為對(duì)汽車(chē)保險(xiǎn)核心業(yè)務(wù)的交易域、理賠域進(jìn)行統(tǒng)計(jì)分析。
教程帶你從0到1完成數(shù)倉(cāng)框架環(huán)境搭建、數(shù)倉(cāng)建模分析，以及最終數(shù)據(jù)的可視化展示。幫助學(xué)習(xí)者深入了解數(shù)倉(cāng)建模理論體系及實(shí)際應(yīng)用。還是尚硅谷一貫的風(fēng)格，保姆式講解，敗家式贈(zèng)送，一站式學(xué)習(xí)，學(xué)習(xí)者參照視頻及教輔資料即可實(shí)現(xiàn)全部項(xiàng)目流程！
項(xiàng)目中使用的框架包括：Hadoop、Kafka、Flume、Zookeeper、DataX、DolphinScheduler、Hive、Maxwell、SuperSet等。教程通過(guò)精煉的業(yè)務(wù)體系邏輯，帶你快速掌握離線(xiàn)數(shù)倉(cāng)所使用的技術(shù)手段！
教程目錄
001.數(shù)據(jù)采集課程內(nèi)容介紹
002.數(shù)據(jù)倉(cāng)庫(kù)概念
003.項(xiàng)目需求分析
004.技術(shù)選型
005.系統(tǒng)流程設(shè)計(jì)
006.框架版本選擇
007.服務(wù)器選型
008.集群規(guī)模設(shè)計(jì)
009.資源規(guī)劃
010.業(yè)務(wù)流程說(shuō)明
011.表結(jié)構(gòu)說(shuō)明
012.安裝虛擬機(jī)
013.分發(fā)腳本
014.安裝JDK
015.環(huán)境變量配置說(shuō)明
016.進(jìn)程查看腳本
017.安裝Zookeeper
018.Zookeeper啟動(dòng)腳本
019.Zookeeper客戶(hù)端常用指令
020.安裝Hadoop
021.Hadoop群起腳本
022.項(xiàng)目經(jīng)驗(yàn)之存儲(chǔ)多目錄
023.項(xiàng)目經(jīng)驗(yàn)之集群數(shù)據(jù)均衡
024.項(xiàng)目經(jīng)驗(yàn)之參數(shù)調(diào)優(yōu)
025.安裝Kafka
026.Kafka群起腳本
027.Kafka常用指令之Topic相關(guān)
028.Kafka常用指令之生產(chǎn)者和消費(fèi)者
029.Flume安裝與項(xiàng)目經(jīng)驗(yàn)
030.安裝MySQL
031.模擬生成數(shù)據(jù)
032.同步策略介紹
033.數(shù)據(jù)同步工具介紹
034.DataX簡(jiǎn)介和框架設(shè)計(jì)
035.DataX的運(yùn)行與調(diào)度
036.DataX的安裝
037.MySQL數(shù)據(jù)導(dǎo)入HDFS之TableModel模式
038.MySQL數(shù)據(jù)導(dǎo)入HDFS之Querysql模式
039.DataX傳參
040.HDFS數(shù)據(jù)導(dǎo)入到MySQL
041.DataX優(yōu)化
042.Maxwell概述和輸出數(shù)據(jù)格式
043.MySQL原理
044.安裝Maxwell
045.Maxwell啟動(dòng)腳本
046.Maxwell使用
047.生成DataX配置文件
048.全量數(shù)據(jù)導(dǎo)入腳本
049.增量數(shù)據(jù)同步-Maxwell配置
050.增量數(shù)據(jù)同步-Flume配置
051.增量數(shù)據(jù)同步-攔截器與采集
052.Maxwell時(shí)間戳問(wèn)題
053.Flume啟動(dòng)腳本
054.增量首日全量同步
055.安裝Hive
056.Hive中文亂碼問(wèn)題
057.車(chē)險(xiǎn)離線(xiàn)數(shù)倉(cāng)課程內(nèi)容簡(jiǎn)介
058.數(shù)倉(cāng)的概念
059.數(shù)倉(cāng)架構(gòu)
060.數(shù)倉(cāng)建模的意義
061.ER模型
062.維度模型
063.事實(shí)表概述
064.事務(wù)型事實(shí)表概述
065.事務(wù)型事實(shí)表的設(shè)計(jì)
066.事務(wù)型事實(shí)表的不足-存量型指標(biāo)
067.事務(wù)型事實(shí)表的不足-多事務(wù)關(guān)聯(lián)指標(biāo)
068.周期型快照事實(shí)表的概念
069.周期型快照事實(shí)表設(shè)計(jì)與事實(shí)類(lèi)型
070.累積型快照事實(shí)表
071.維度表設(shè)計(jì)
072.規(guī)范化與反規(guī)范化
073.全量快照維度表
074.拉鏈表
075.多值維度
076.多值屬性
077.數(shù)據(jù)倉(cāng)庫(kù)的分層
078.數(shù)倉(cāng)的構(gòu)建流程
079.據(jù)調(diào)研
080.明確數(shù)據(jù)域
081.業(yè)務(wù)總線(xiàn)矩陣
082.明確統(tǒng)計(jì)指標(biāo)
083.維度模型與匯總模型設(shè)計(jì)
084.Hive引擎簡(jiǎn)介
085.Hive on Spark兼容性說(shuō)明
086.Hive on Spark搭建
087.AM資源比例調(diào)整
088.DataGrip使用
089.模擬生成數(shù)據(jù)
090.Hive常見(jiàn)問(wèn)題和解決方案
091.ODS層設(shè)計(jì)要點(diǎn)
092.數(shù)據(jù)格式說(shuō)明
093.全量數(shù)據(jù)建表
094.復(fù)雜數(shù)據(jù)類(lèi)型回顧
095.增量數(shù)據(jù)建表
096.ODS數(shù)據(jù)加載
097.DOS層部分表字段顯示問(wèn)題
098.ODS層數(shù)據(jù)加載腳本
099.DIM層設(shè)計(jì)要點(diǎn)
100.地區(qū)維度表
101.保險(xiǎn)產(chǎn)品維度表
102.保險(xiǎn)經(jīng)理人維度表
103.投保人維度表首日數(shù)據(jù)加載
104.投保人維度表每日數(shù)據(jù)加載
105.車(chē)輛維度表首日數(shù)據(jù)加載
106.車(chē)輛維度表每日數(shù)據(jù)加載
107.DIM層首日數(shù)據(jù)加載腳本
108.DIM層每日數(shù)據(jù)加載腳本
109.DWD層設(shè)計(jì)要點(diǎn)
110.交易域投保事務(wù)事實(shí)表首日數(shù)據(jù)加載
111.交易域投保事務(wù)事實(shí)表每日數(shù)據(jù)加載
112.繳費(fèi)成功事實(shí)表首日數(shù)據(jù)加載
113.繳費(fèi)成功事實(shí)表每日數(shù)據(jù)加載
114.理賠域報(bào)案事務(wù)事實(shí)表數(shù)據(jù)加載
115.理賠流程累積快照事實(shí)表建表
116.理賠流程累積快照事實(shí)表首日數(shù)據(jù)加載
117.理賠流程累積快照事實(shí)表每日數(shù)據(jù)加載
118.DWD層首日數(shù)據(jù)加載腳本
119.DWD層每日數(shù)據(jù)加載腳本
120.DWD表設(shè)計(jì)要點(diǎn)
121.交易域城市車(chē)型粒度投保1日匯總表建表
122.交易域城市車(chē)型粒度投保1日匯總表數(shù)據(jù)加載
123.理賠域城市車(chē)型粒度出險(xiǎn)1日匯總表建表
124.理賠域城市車(chē)型粒度出險(xiǎn)1日匯總表數(shù)據(jù)加載
125.DWS 1d表首日數(shù)據(jù)加載腳本
126.DWS 1d表每日數(shù)據(jù)加載腳本
127.交易域城市車(chē)型粒度投保n日匯總表
128.理賠域城市車(chē)型粒度出險(xiǎn)n日匯總表
129.DWS nd表數(shù)據(jù)加載腳本
130.ADS層設(shè)計(jì)要點(diǎn)
131.交易綜合統(tǒng)計(jì)
132.續(xù)保統(tǒng)計(jì)
133.產(chǎn)品交易統(tǒng)計(jì)
134.城市交易統(tǒng)計(jì)
135.理賠綜合統(tǒng)計(jì)
136.城市理賠統(tǒng)計(jì)
137.省份理賠統(tǒng)計(jì)
138.車(chē)型理賠統(tǒng)計(jì)
139.ADS數(shù)據(jù)加載腳本
140.MySQL建庫(kù)建表
141.HDFS數(shù)據(jù)同步到MySQL案例演示
142.ADS同步數(shù)據(jù)到MySQL腳本
143.DolphinScheduler簡(jiǎn)介
144.DolphinScheduler部署說(shuō)明
145.安裝DolphinScheduler
146.DolphinScheduler啟動(dòng)停止命令
147.安全中心配置
148.創(chuàng)建工作流與運(yùn)行工作流
149.定時(shí)
150.局部參數(shù)
151.全局參數(shù)
152.傳遞參數(shù)
153.參數(shù)優(yōu)先級(jí)
154.內(nèi)置參數(shù)
155.依賴(lài)資源
156.告警
157.失敗重試
158.模擬生成新數(shù)據(jù)
159.工作流調(diào)度
160.SuperSet簡(jiǎn)介
161.安裝SuperSet
162.SuperSet啟動(dòng)腳本
163.SuperSet可視化
