IT小白向大數(shù)據(jù)領(lǐng)域邁進(jìn)
掌握實(shí)用技能
增長經(jīng)驗(yàn)
搭建完善的項(xiàng)目
接觸廣泛技術(shù)面
學(xué)習(xí)前沿技術(shù)
突破職業(yè)瓶頸
掌握核心技能
Linux、Hadoop
Java、Hive
Flume、Kafka
等基礎(chǔ)框架
熟練使用Doris
充分掌握Doris概念與構(gòu)建流程
熟練應(yīng)用數(shù)倉建模理論
熟練掌握Doris與其他大數(shù)據(jù)框架的集成
采用當(dāng)前大廠非常流行的Doris框架,實(shí)現(xiàn)統(tǒng)一數(shù)倉架構(gòu);
多方參考大廠數(shù)倉分層體系,合理數(shù)據(jù)分層,降低數(shù)據(jù)耦合度,提高數(shù)據(jù)分析效率,降低數(shù)據(jù)計(jì)算成本。
采用SeaTunnel監(jiān)控業(yè)務(wù)數(shù)據(jù)變動(dòng)情況,做到實(shí)時(shí)準(zhǔn)確的采集變動(dòng)數(shù)據(jù)。
采用SeaTunnel采集用戶行為日志數(shù)據(jù),實(shí)時(shí)同步到Doris;
ODS層、DWD層、DIM層、DWS層和ADS層之間采用Doris+ DolphinScheduler框架10分鐘調(diào)度一次處理,真正做到統(tǒng)一數(shù)倉。
采用FineBI對(duì)結(jié)果數(shù)據(jù)進(jìn)行多圖表、儀表盤可視化展示;
分析總結(jié)項(xiàng)目搭建過程中遇到的問題,增加開發(fā)經(jīng)驗(yàn),提升實(shí)戰(zhàn)問題解決能力。