新能源汽車(chē)項(xiàng)目

項(xiàng)目包含數(shù)十個(gè) Shell 腳本、多個(gè)傳感器日志數(shù)據(jù)和數(shù)十個(gè)統(tǒng)計(jì)指標(biāo)。

深入研究各大企業(yè)的數(shù)據(jù)倉(cāng)庫(kù)建模體系，并以阿里巴巴的數(shù)據(jù)倉(cāng)庫(kù)建模理論作為基準(zhǔn)，構(gòu)建實(shí)用、貼近實(shí)際生產(chǎn)且具有廣泛應(yīng)用性的數(shù)據(jù)倉(cāng)庫(kù)建模體系。

根據(jù)建模理論，提出強(qiáng)實(shí)踐性的數(shù)據(jù)倉(cāng)庫(kù)搭建理論過(guò)程，包括數(shù)據(jù)調(diào)研、明確數(shù)據(jù)域、構(gòu)建業(yè)務(wù)總線(xiàn)矩陣、維度模型設(shè)計(jì)、明確統(tǒng)計(jì)指標(biāo)、匯總模型設(shè)計(jì)和分層構(gòu)建數(shù)據(jù)倉(cāng)庫(kù)。

參考大型企業(yè)的數(shù)據(jù)倉(cāng)庫(kù)分層體系，合理劃分?jǐn)?shù)據(jù)層次，降低數(shù)據(jù)耦合度，提高數(shù)據(jù)分析效率并降低數(shù)據(jù)計(jì)算成本。

采用實(shí)戰(zhàn)式數(shù)據(jù)模擬策略，生成全面的原始數(shù)據(jù)，并針對(duì)實(shí)際數(shù)據(jù)進(jìn)行數(shù)據(jù)采集。

使用 Flume 收集傳感器日志數(shù)據(jù)，深入研究適配組件，提供詳細(xì)的實(shí)戰(zhàn)配置文件，自定義采集組件，解決時(shí)間戳漂移和優(yōu)化小文件存儲(chǔ)問(wèn)題，分享更多實(shí)戰(zhàn)經(jīng)驗(yàn)。

采用當(dāng)前流行的數(shù)據(jù)采集框架 DataX 收集業(yè)務(wù)數(shù)據(jù)，提供詳細(xì)的配置文件和腳本解讀，掌握更多腳本編寫(xiě)技巧。

真實(shí)數(shù)據(jù)ETL實(shí)踐，學(xué)會(huì)對(duì)原始數(shù)據(jù)進(jìn)行清洗、脫敏、數(shù)據(jù)分類(lèi)和整合。

基于業(yè)務(wù)總線(xiàn)矩陣，構(gòu)建數(shù)據(jù)倉(cāng)庫(kù)的DWD層，完成事務(wù)型事實(shí)表、周期型事實(shí)表和累積快照事實(shí)表的搭建與數(shù)據(jù)裝載。