彩票項(xiàng)目

該項(xiàng)目涉及數(shù)十個(gè)Shell腳本、若干業(yè)務(wù)數(shù)據(jù)表格和數(shù)十張彩票大數(shù)據(jù)表格，以及幾十個(gè)彩票業(yè)務(wù)統(tǒng)計(jì)指標(biāo)。

基于數(shù)倉(cāng)建模理論，該項(xiàng)目執(zhí)行完整的數(shù)倉(cāng)搭建過(guò)程，包括數(shù)據(jù)調(diào)研、明確數(shù)據(jù)域、構(gòu)建業(yè)務(wù)總線(xiàn)矩陣、設(shè)計(jì)維度模型、明確統(tǒng)計(jì)指標(biāo)、設(shè)計(jì)匯總模型以及分層構(gòu)建數(shù)倉(cāng)。

數(shù)倉(cāng)分層合理化，降低了數(shù)據(jù)之間的耦合度，提高了數(shù)據(jù)分析效率，同時(shí)也降低了數(shù)據(jù)計(jì)算成本。

該項(xiàng)目采用實(shí)戰(zhàn)式數(shù)據(jù)模擬策略，模擬生成全面的原始數(shù)據(jù)，并進(jìn)行了真實(shí)數(shù)據(jù)采集工作。

采用了流行數(shù)據(jù)采集框架DataX采集業(yè)務(wù)數(shù)據(jù)，并提供詳細(xì)的配置文件和腳本解讀，以幫助掌握更多的腳本編寫(xiě)技巧。

該項(xiàng)目使用Maxwell監(jiān)控業(yè)務(wù)數(shù)據(jù)變動(dòng)情況，實(shí)現(xiàn)了更實(shí)時(shí)、更準(zhǔn)確的數(shù)據(jù)采集，靈活使用Maxwell框架，全面掌握使用技巧。