尚硅谷線上問診離線數(shù)倉(cāng)項(xiàng)目
本套項(xiàng)目教程以線上問診為基礎(chǔ)業(yè)務(wù)，真實(shí)還原了線上問診平臺(tái)對(duì)于用戶數(shù)據(jù)的分析和統(tǒng)計(jì)，并以大屏展示的方法呈現(xiàn)數(shù)據(jù)分析的結(jié)果。
項(xiàng)目共分四大部分：數(shù)倉(cāng)建模原理介紹、數(shù)倉(cāng)模型搭建、DolphinScheduler全流程調(diào)度、SuperSet可視化大屏展示，以線上問診采集項(xiàng)目為前置基礎(chǔ)，使用線上問診采集項(xiàng)目的基礎(chǔ)架構(gòu)，將數(shù)據(jù)導(dǎo)入數(shù)倉(cāng)中，對(duì)數(shù)據(jù)進(jìn)行系統(tǒng)化的分析計(jì)算，最終得到指標(biāo)需求結(jié)果。
項(xiàng)目中使用的框架包括：Hadoop、Hive、Spark、Kafka、Flume、Flink-CDC、Datax、DolphinScheduler、SuperSet等。通過本套視頻教程的學(xué)習(xí)，你將徹底了解數(shù)倉(cāng)建模理論體系，深入認(rèn)識(shí)線上問診平臺(tái)的業(yè)務(wù)理論體系！
教程目錄
001.數(shù)據(jù)采集課程內(nèi)容介紹
002.數(shù)據(jù)倉(cāng)庫(kù)的概念
003.數(shù)據(jù)倉(cāng)庫(kù)的架構(gòu)
004.項(xiàng)目需求分析
005.技術(shù)選型
006.系統(tǒng)數(shù)據(jù)流程設(shè)計(jì)
007.框架版本的選擇
008.服務(wù)器的選型
009.集群規(guī)模
010.集群規(guī)模設(shè)計(jì)
011.業(yè)務(wù)數(shù)據(jù)說明
012.虛擬機(jī)安裝配置
013.集群分發(fā)腳本
014.安裝JDK
015.環(huán)境變量配置說明
016.查看進(jìn)程腳本
017.安裝Hadoop-配置集群
018.安裝Hadoop-配置歷史服務(wù)器
019.Hadoop群起腳本
020.HDFS存儲(chǔ)多目錄
021.集群數(shù)據(jù)均衡
022.Hadoop參數(shù)調(diào)優(yōu)
023.安裝ZooKeeper
024.ZooKeeper啟動(dòng)腳本
025.ZooKeeper常用指令
026.安裝Kafka
027.Kafka群起腳本
028.Kafka常用指令-topic相關(guān)
029.Kafka常用指令-生產(chǎn)者和消費(fèi)者相關(guān)
030.Flume安裝與項(xiàng)目經(jīng)驗(yàn)
031.安裝MySQL
032.模擬生成數(shù)據(jù)
033.客戶端連接異常問題
034.Maxwell簡(jiǎn)介
035.MySQL原理
036.安裝Maxwell
037.Maxwell啟動(dòng)腳本
038.Maxwell數(shù)據(jù)同步
039.同步策略
040.數(shù)據(jù)同步工具
041.DataX簡(jiǎn)介和框架設(shè)計(jì)
042.DataX運(yùn)行流程
043.DataX調(diào)度思路
044.DataX與Sqoop的對(duì)比
045.DataX安裝
046.將數(shù)據(jù)從MySQL導(dǎo)入到HDFS-TableMode模式
047.將數(shù)據(jù)從MySQL導(dǎo)入到HDFS-QuerySQL模式
048.DataX傳參
049.將數(shù)據(jù)從HDFS導(dǎo)入到MySQL
050.DataX優(yōu)化
051.DataX配置文件生成
052.全量表數(shù)據(jù)同步腳本
053.Flume配置01
054.Flume配置02
055.增量表首日同步
056.Flume啟動(dòng)停止腳本
057.安裝Hive
058.在線就診數(shù)倉(cāng)項(xiàng)目簡(jiǎn)介
059.數(shù)倉(cāng)的概念
060.數(shù)倉(cāng)架構(gòu)
061.建模的意義
062.ER模型
063.維度模型
064.事實(shí)表介紹
065.事務(wù)型事實(shí)表概述
066.事務(wù)型事實(shí)表的設(shè)計(jì)流程
067.事務(wù)型事實(shí)表的不足
068.事務(wù)型事實(shí)表的不足
069.周期型快照事實(shí)表的概念
070.周期型快照事實(shí)表設(shè)計(jì)與事實(shí)類型
071.累積型快照事實(shí)表
072.維度表設(shè)計(jì)
073.規(guī)范化與反規(guī)范化
074.全量快照維度表
075.拉鏈表
076.多值維度
077.多值屬性
078.數(shù)據(jù)倉(cāng)庫(kù)的分層
079.數(shù)倉(cāng)的構(gòu)建流程
080.數(shù)據(jù)調(diào)研
081.明確數(shù)據(jù)域
082.業(yè)務(wù)總線矩陣
083.明確統(tǒng)計(jì)指標(biāo)
084.維度模型與匯總模型設(shè)計(jì)
085.Hive引擎簡(jiǎn)介
086.Hive on Spark兼容性說明
087.搭建Hive on Spark
088.ApplicationMaster資源比例調(diào)整
089.DataGrip使用
090.模擬產(chǎn)生數(shù)據(jù)
091.Hive常見問題和解決方案
092.ODS層設(shè)計(jì)要點(diǎn)
093.全量表建表
094.復(fù)雜數(shù)據(jù)類型回顧
095.Json數(shù)據(jù)建表
096.增量表建表
097.ODS數(shù)據(jù)加載腳本
098.維度表建模理論回顧
099.DIM層設(shè)計(jì)要點(diǎn)
100.醫(yī)生維度表建表
101.醫(yī)生維度表數(shù)據(jù)加載
102.醫(yī)院維度表建表和數(shù)據(jù)加載
103.藥品維度表建表和數(shù)據(jù)加載
104.患者維度表建表和數(shù)據(jù)加載
105.用戶維度表建表和數(shù)據(jù)加載
106.DIM層數(shù)據(jù)加載腳本
107.事實(shí)表建模理論回顧
108.DWD層設(shè)計(jì)要點(diǎn)
109.問診事務(wù)型事實(shí)表建表
110.問診事實(shí)表首日數(shù)據(jù)加載
111.問診事實(shí)表每日數(shù)據(jù)加載
112.問診支付成功事實(shí)表建表和首日加載
113.問診支付成功事實(shí)表每日數(shù)據(jù)加載
114.處方開單事實(shí)表建表和首日數(shù)據(jù)加載
115.處方開單事實(shí)表每日數(shù)據(jù)加載
116.處方支付成功事實(shí)表建表和首日數(shù)據(jù)加載
117.處方支付成功事實(shí)表每日數(shù)據(jù)加載
118.醫(yī)生注冊(cè)事實(shí)表建表和首日數(shù)據(jù)加載
119.醫(yī)生注冊(cè)事實(shí)表每日數(shù)據(jù)加載
120.用戶注冊(cè)事實(shí)表建表和數(shù)據(jù)加載
121.患者登記事實(shí)表建表和數(shù)據(jù)加載
122.用戶評(píng)價(jià)事實(shí)表建表和數(shù)據(jù)加載
123.DWD首日數(shù)據(jù)加載腳本
124.DWD每日數(shù)據(jù)加載腳本
125.DWS設(shè)計(jì)要點(diǎn)
126.醫(yī)院患者性別年齡段問診最近1日匯總表
127.醫(yī)院患者性別年齡段問診支付成功最近1日匯總表
128.醫(yī)院患者性別年齡段處方開單最近1日匯總表
129.醫(yī)院患者性別年齡段處方開單支付成功最近1日匯總表
130.醫(yī)生粒度問診最近1日匯總表
131.DWS 1d首日數(shù)據(jù)加載腳本
132.DWS 1d每日數(shù)據(jù)加載腳本
133.交易域醫(yī)院患者性別年齡段粒度問診最近n日匯總表
134.交易域醫(yī)院患者性別年齡段粒度問診支付成功最近n日匯總表
135.交易域醫(yī)院患者性別年齡段粒度處方開單最近n日匯總表
136.交易域醫(yī)院患者性別年齡段粒度處方開單支付成功最近n日匯總表
137.交易域醫(yī)生粒度問診最近n日匯總表
138.DWS nd數(shù)據(jù)加載腳本
139.交易域醫(yī)生粒度問診歷史至今匯總表
140.互動(dòng)域醫(yī)院用戶粒度用戶評(píng)價(jià)歷史至今匯總表
141.互動(dòng)域醫(yī)院粒度用戶評(píng)價(jià)歷史至今匯總表
142.DWS td首日數(shù)據(jù)加載腳本
143.DWS td每日數(shù)據(jù)加載腳本
144.ADS層設(shè)計(jì)要點(diǎn)
145.交易綜合統(tǒng)計(jì)
146.各醫(yī)院交易統(tǒng)計(jì)
147.各性別患者交易統(tǒng)計(jì)
148.各年齡段患者交易統(tǒng)計(jì)
149.醫(yī)生變動(dòng)統(tǒng)計(jì)
150.用戶變動(dòng)統(tǒng)計(jì)
151.評(píng)價(jià)綜合統(tǒng)計(jì)
152.各醫(yī)院評(píng)價(jià)統(tǒng)計(jì)
153.ADS數(shù)據(jù)加載腳本
154.MySQL建庫(kù)建表
155.將數(shù)據(jù)從HDFS導(dǎo)入到MySQL演示
156.生成DataX配置文件
157.ADS導(dǎo)數(shù)據(jù)到MySQL腳本
158.DolphinScheduler簡(jiǎn)介
159.DolphinScheduler部署說明
160.安裝DolphinScheduler
161.安全中心配置
162.定義工作流與執(zhí)行工作流
163.定時(shí)調(diào)度
164.局部參數(shù)
165.全局參數(shù)
166.參數(shù)傳遞
167.參數(shù)的優(yōu)先級(jí)
168.內(nèi)置參數(shù)
169.引用依賴資源
170.告警通知
171.失敗重試
172.生成新數(shù)據(jù)
173.數(shù)倉(cāng)工作流調(diào)度
174.Superset簡(jiǎn)介
175.安裝Superset
176.Superset啟動(dòng)腳本
177.Superset可視化
178.教程總結(jié)
