大數(shù)據(jù)線上問診實(shí)時(shí)數(shù)倉項(xiàng)目
尚硅谷線上問診實(shí)時(shí)數(shù)倉項(xiàng)目延續(xù)了離線數(shù)倉的業(yè)務(wù)邏輯,以線上問診開處方為基礎(chǔ)業(yè)務(wù)邏輯,真實(shí)表現(xiàn)了線上問診數(shù)據(jù)的實(shí)時(shí)分析統(tǒng)計(jì)。
線上問診實(shí)時(shí)數(shù)倉項(xiàng)目共分三大部分:實(shí)時(shí)數(shù)倉架構(gòu)介紹、數(shù)倉模型搭建、Suger可視化大屏展示。項(xiàng)目以線上問診采集項(xiàng)目為前置基礎(chǔ),使用采集項(xiàng)目中搭建的虛擬機(jī)環(huán)境,讀取采集項(xiàng)目實(shí)時(shí)監(jiān)控的業(yè)務(wù)數(shù)據(jù),對(duì)數(shù)據(jù)進(jìn)行實(shí)時(shí)的分析計(jì)算,最終得到指標(biāo)需求結(jié)果。
![微信圖片_20230815150424.png](/uploads/20230815150424_9e8d9c9c82.png)
項(xiàng)目中使用的框架包括:Hadoop、Kafka、Flume、Maxwell、Flink、Phoenix、HBase、Redis、Doris、Suger等。教程通過精煉的業(yè)務(wù)體系邏輯,帶你快速掌握實(shí)時(shí)數(shù)倉所使用的技術(shù)手段!
教程目錄
01.線上問診實(shí)時(shí)數(shù)倉教程介紹
02.采集項(xiàng)目數(shù)據(jù)采集回顧
03.線上問診實(shí)時(shí)數(shù)倉概念介紹
04.線上問診實(shí)時(shí)數(shù)倉核心架構(gòu)介紹
05.實(shí)時(shí)數(shù)倉架構(gòu)的具體操作流程
06.數(shù)倉建模ER模型介紹
07.數(shù)倉建模ER模型三范式介紹
08.數(shù)倉建模維度模型介紹
09.維度建模事實(shí)表簡(jiǎn)單概述
10.維度建模事務(wù)型事實(shí)表介紹
11.維度建模周期快照事實(shí)表
12.維度建模累積快照事實(shí)表
13.維度建模維度表設(shè)計(jì)流程
14.維度表設(shè)計(jì)規(guī)范化和反規(guī)范化
15.維度表設(shè)計(jì)維度變化的選擇
16.維度表設(shè)計(jì)多值維度和多值屬性
17.數(shù)倉分層規(guī)劃
18.數(shù)倉構(gòu)建流程簡(jiǎn)單介紹
19.數(shù)倉數(shù)據(jù)調(diào)研介紹
20.數(shù)倉分配數(shù)據(jù)域
21.數(shù)倉構(gòu)建業(yè)務(wù)總線矩陣及維度模型設(shè)計(jì)
22.數(shù)倉指標(biāo)體系分析
23.IDEA開發(fā)環(huán)境準(zhǔn)備
24.Flink的環(huán)境準(zhǔn)備
25.HBase的環(huán)境部署
26.Redis的環(huán)境部署
27.Doris的FE部署
28.Doris的BE集群安裝部署
29.Doris的BE集群bug解決
30.ODS_使用Kafka存儲(chǔ)原始數(shù)據(jù)
31.DIM_實(shí)時(shí)監(jiān)控實(shí)現(xiàn)動(dòng)態(tài)配置維度表元數(shù)據(jù)信息原理介紹
32.FlinkCDC測(cè)試代碼編寫
33.DIM_整體代碼結(jié)構(gòu)介紹
34.DIM_流式環(huán)境創(chuàng)建的方法封裝
35.DIM_讀取Kafka主流ODS層數(shù)據(jù)
36.DIM_讀取配置表數(shù)據(jù)
37.DIM_封裝HBase獲取同步連接
38.DIM_創(chuàng)建HBase中的維度表
39.DIM_處理合并流完成主流過濾維度表的操作
40.DIM_寫出維度表數(shù)據(jù)到HBase
41.DIM_維度表代碼測(cè)試及整體邏輯回顧
42.DWD_FlinkSQL的使用方法
43.DWD_使用FlinkSQL讀取ODS層數(shù)據(jù)
44.DWD_問診事實(shí)表篩選數(shù)據(jù)
45.DWD_問診事務(wù)事實(shí)表數(shù)據(jù)寫出
46.DWD_問診支付成功事實(shí)表代碼編寫及演示
47.DWD_處方事實(shí)表代碼編寫
48.DWD_處方事實(shí)表數(shù)據(jù)測(cè)試
49.DWD_interval_Join的原理介紹
50.DWD_處方開單支付事務(wù)事實(shí)表編寫及測(cè)試
51.DWD_用戶注冊(cè)事務(wù)事實(shí)表
52.DWD_新增患者事務(wù)事實(shí)表
53.DWD_醫(yī)生注冊(cè)事務(wù)事實(shí)表
54.DWS_醫(yī)院性別年齡粒度問診聚合需求介紹
55.DWS_讀取DWD層數(shù)據(jù)并轉(zhuǎn)換結(jié)構(gòu)
56.DWS_使用異步連接優(yōu)化維度關(guān)聯(lián)
57.DWS_旁路緩存優(yōu)化介紹
58.DWS_實(shí)現(xiàn)維度關(guān)聯(lián)的抽象類設(shè)計(jì)
59.DWS_實(shí)現(xiàn)醫(yī)院id和患者信息的維度關(guān)聯(lián)
60.DWS_開窗聚合問診次數(shù)及問診金額代碼及演示
61.DWS_修復(fù)補(bǔ)全維度信息
62.DWS_將JavaBean保留需要的字段轉(zhuǎn)換為JsonString
63.DWS_Doris寫出工具類編寫
64.DWS_寫出數(shù)據(jù)到Doris演示
65.DWS_問診支付成功窗口聚合
66.DWS_處方開單窗口聚合
67.DWS_處方開單支付窗口聚合
68.DWS_用戶注冊(cè)的窗口聚合
69.DWS_患者添加窗口聚合
70.DWS_醫(yī)生注冊(cè)窗口匯總
71.DWS_醫(yī)院粒度評(píng)價(jià)表使用狀態(tài)找出新增評(píng)價(jià)
72.DWS_醫(yī)院粒度評(píng)價(jià)導(dǎo)出數(shù)據(jù)
73.大屏可視化流程介紹
74.大屏可視化內(nèi)網(wǎng)穿透展示
75.SugerBI實(shí)現(xiàn)可視化展示