電商離線數(shù)倉(cāng)項(xiàng)目

本離線數(shù)據(jù)倉(cāng)庫(kù)項(xiàng)目依托國(guó)內(nèi)電商巨頭的實(shí)際業(yè)務(wù)場(chǎng)景，引入海量的真實(shí)點(diǎn)擊數(shù)據(jù)和業(yè)務(wù)數(shù)據(jù)，緊跟大數(shù)據(jù)主流技術(shù)需求，擁有豐富的數(shù)據(jù)倉(cāng)庫(kù)功能模塊，功能完善，還原真實(shí)企業(yè)級(jí)數(shù)倉(cāng)場(chǎng)景，給予學(xué)生真實(shí)的大數(shù)據(jù)開(kāi)發(fā)體驗(yàn)，充分探查大數(shù)據(jù)開(kāi)發(fā)的技術(shù)現(xiàn)狀，輕松掌握多門(mén)技術(shù)，提升開(kāi)發(fā)能力。本項(xiàng)目配備全套AI輔助開(kāi)發(fā)技巧講解，輔助數(shù)據(jù)倉(cāng)庫(kù)建模、輔助代碼開(kāi)發(fā)、輔助性能優(yōu)化，與潮流接軌，不落人后。
項(xiàng)目覆蓋Hadoop、Hive、Spark、DataX、Maxwell、Flume、Kafka等大量流行的大數(shù)據(jù)框架，跨越ETL、海量數(shù)據(jù)存儲(chǔ)、海量數(shù)據(jù)計(jì)算、海量數(shù)據(jù)采集、消息隊(duì)列、定時(shí)調(diào)度、服務(wù)器安全監(jiān)控、元數(shù)據(jù)管理等多種技術(shù)領(lǐng)域。

技術(shù)點(diǎn)

項(xiàng)目涵蓋40多個(gè)Shell腳本，5大類用戶行為日志數(shù)據(jù)，34張業(yè)務(wù)數(shù)據(jù)原始表格，100多張電商大數(shù)據(jù)表格，100多個(gè)電商統(tǒng)計(jì)指標(biāo)；
充分調(diào)研各大廠數(shù)倉(cāng)建模體系，以阿里巴巴的數(shù)據(jù)倉(cāng)庫(kù)建模理論為最終藍(lán)本，搭建實(shí)用且貼近生產(chǎn)實(shí)際的數(shù)倉(cāng)建模體系；
應(yīng)用建模理論，提出可實(shí)踐性強(qiáng)的數(shù)倉(cāng)搭建理論過(guò)程，數(shù)據(jù)調(diào)研 → 明確數(shù)據(jù)域 → 構(gòu)建業(yè)務(wù)總線矩陣 → 維度模型設(shè)計(jì) → 明確統(tǒng)計(jì)指標(biāo) → 匯總模型設(shè)計(jì) → 分層構(gòu)建數(shù)倉(cāng)；
多方參考大廠數(shù)倉(cāng)分層體系，合理數(shù)據(jù)分層，降低數(shù)據(jù)耦合度，提高數(shù)據(jù)分析效率，降低數(shù)據(jù)計(jì)算成本；
基于五大主題指標(biāo)，分析統(tǒng)計(jì)100余個(gè)指標(biāo)，構(gòu)建ADS層；
采用Flume采集用戶行為日志數(shù)據(jù)，適配組件廣泛調(diào)研，給出詳細(xì)貼近實(shí)戰(zhàn)的配置文件，自定義采集組件，解決時(shí)間戳零點(diǎn)漂移，優(yōu)化小文件存儲(chǔ)帶來(lái)問(wèn)題，提供更多實(shí)戰(zhàn)經(jīng)驗(yàn)；
采用流行數(shù)據(jù)采集框架DataX采集業(yè)務(wù)數(shù)據(jù)，提供詳細(xì)配置文件及腳本解讀，掌握更多腳本編寫(xiě)技巧；
安裝部署受各大廠歡迎的DolphinScheduler工作流調(diào)度系統(tǒng)，實(shí)現(xiàn)數(shù)據(jù)倉(cāng)庫(kù)搭建全流程定時(shí)自動(dòng)化調(diào)度以及故障自動(dòng)郵件告警；

基于業(yè)務(wù)總線矩陣構(gòu)建數(shù)據(jù)倉(cāng)庫(kù)DIM層，針對(duì)緩慢變化維度，構(gòu)建拉鏈表；
基于指標(biāo)體系分析構(gòu)建DWS層，將相同粒度、統(tǒng)計(jì)周期的派生指標(biāo)整合統(tǒng)計(jì)為寬表，提高計(jì)算結(jié)果復(fù)用性；
基于業(yè)務(wù)總線矩陣構(gòu)建數(shù)據(jù)倉(cāng)庫(kù)DWD層，完成事務(wù)型事實(shí)表、周期型事實(shí)表、累積快照事實(shí)表搭建和數(shù)據(jù)裝載；
真實(shí)數(shù)據(jù)ETL實(shí)操，掌握如何對(duì)原始數(shù)據(jù)進(jìn)行清洗、脫敏、數(shù)據(jù)分類、整合；
采用SuperSet對(duì)調(diào)度采集至RDBMS數(shù)據(jù)庫(kù)中的結(jié)果數(shù)據(jù)進(jìn)行多圖表、儀表盤(pán)可視化展示；
采用Echart，結(jié)合SpringBoot對(duì)結(jié)果數(shù)據(jù)進(jìn)行可視化展示，充分掌握數(shù)據(jù)展示接口編寫(xiě)流程；
基于企業(yè)級(jí)數(shù)據(jù)倉(cāng)庫(kù)的海量數(shù)據(jù)計(jì)算業(yè)務(wù)，對(duì)CPU配置、內(nèi)存分配、任務(wù)提交、任務(wù)執(zhí)行計(jì)劃等方面進(jìn)行廣泛性能調(diào)優(yōu)；
分析總結(jié)項(xiàng)目搭建過(guò)程中遇到的問(wèn)題，增加開(kāi)發(fā)經(jīng)驗(yàn)，提升實(shí)戰(zhàn)問(wèn)題解決能力；
采用Maxwell監(jiān)控業(yè)務(wù)數(shù)據(jù)變動(dòng)情況，做到更實(shí)時(shí)更準(zhǔn)確的變動(dòng)數(shù)據(jù)采集，靈活使用Maxwell框架，掌握使用技巧。

電商離線數(shù)倉(cāng)項(xiàng)目

小白人群

高校畢業(yè)生

IT從業(yè)者

要求課程基礎(chǔ)