渴望技術(shù)轉(zhuǎn)型
轉(zhuǎn)換行業(yè)的IT小白
增長經(jīng)驗(yàn)
搭建完善的項(xiàng)目
接觸廣泛技術(shù)面
渴望了解新技術(shù)、新行業(yè)
有興趣了解數(shù)據(jù)分析
學(xué)習(xí)前沿技術(shù)
突破職業(yè)瓶頸
掌握核心技能
Linux、Hadoop
Java、Hive
Flume、Kafka
等基礎(chǔ)框架
全面了解廣告行業(yè)運(yùn)營流程
充分熟悉廣告行業(yè)指標(biāo)體系
熟練掌握異常流量清洗過程
熟悉掌握數(shù)據(jù)倉庫技術(shù)框架
充分掌握FineBI數(shù)據(jù)分析工具
充分調(diào)研各大廠數(shù)倉建模體系,以阿里巴巴的數(shù)據(jù)倉庫建模理論為最終藍(lán)本,搭建實(shí)用且貼近生產(chǎn)實(shí)際的數(shù)倉建模體系;
應(yīng)用建模理論,提出可實(shí)踐性強(qiáng)的數(shù)倉搭建理論過程,數(shù)據(jù)調(diào)研→明確數(shù)據(jù)域→構(gòu)建業(yè)務(wù)總線矩陣→維度模型設(shè)計(jì)→明確統(tǒng)計(jì)指標(biāo)→匯總模型設(shè)計(jì)→分層構(gòu)建數(shù)倉;
多方參考大廠數(shù)倉分層體系,合理數(shù)據(jù)分層,降低數(shù)據(jù)耦合度,提高數(shù)據(jù)分析效率,降低數(shù)據(jù)計(jì)算成本;
實(shí)戰(zhàn)式數(shù)據(jù)模擬策略,真實(shí)廣告流量監(jiān)測(cè)業(yè)務(wù)場(chǎng)景,模擬生成全面的原始數(shù)據(jù),針對(duì)真實(shí)數(shù)據(jù)進(jìn)行分析統(tǒng)計(jì);
采用Flume采集廣告監(jiān)測(cè)日志,適配組件全面調(diào)研,給出詳細(xì)貼近實(shí)戰(zhàn)的配置文件,自定義采集組件,解決時(shí)間戳零點(diǎn)漂移,優(yōu)化小文件存儲(chǔ)帶來問題,提供更多實(shí)戰(zhàn)經(jīng)驗(yàn);
采用流行數(shù)據(jù)采集框架DataX采集業(yè)務(wù)數(shù)據(jù),提供詳細(xì)配置文件及腳本解讀,掌握更多腳本編寫技巧;
真實(shí)數(shù)據(jù)ETL實(shí)操,結(jié)合Hive自定義函數(shù),涵蓋對(duì)原始廣告日志數(shù)據(jù)的清洗、轉(zhuǎn)換以及遺產(chǎn)廣告流量的識(shí)別;
使用高性能OLAP數(shù)據(jù)庫ClickHouse實(shí)現(xiàn)低延時(shí)即席查詢;
使用FineBI工具實(shí)現(xiàn)自助報(bào)表分析,具備鉆取、聯(lián)動(dòng)、篩選等交互功能。
安裝部署受各大廠歡迎的DolphinScheduler工作流調(diào)度系統(tǒng),實(shí)現(xiàn)數(shù)據(jù)倉庫搭建全流程定時(shí)自動(dòng)化調(diào)度以及故障自動(dòng)郵件告警;