熟悉Linux、Hadoop、Hive、Flume、Kafka
Spark、Springboot、Flink、Vue等基礎(chǔ)框架
以一個(gè)數(shù)據(jù)平臺(tái)的搭建為切入點(diǎn),了解數(shù)據(jù)治理的相關(guān)業(yè)務(wù)知識(shí)
通過(guò)獲取Hive元數(shù)據(jù),實(shí)現(xiàn)元數(shù)據(jù)的查詢、血緣查詢、數(shù)據(jù)治理等等
深度了解DolphinScheduler,實(shí)現(xiàn)對(duì)數(shù)倉(cāng)的調(diào)度管理 ,并整合其底層數(shù)據(jù)實(shí)現(xiàn)一定的數(shù)據(jù)治理和質(zhì)量監(jiān)控
深度了解StreamX, 實(shí)現(xiàn)實(shí)時(shí)數(shù)倉(cāng)的調(diào)度管理
學(xué)習(xí)數(shù)據(jù)質(zhì)量監(jiān)控的設(shè)計(jì)與實(shí)現(xiàn)
學(xué)習(xí)以評(píng)分績(jī)效方式對(duì)數(shù)據(jù)治理各個(gè)方便的管控
采集并分析Hive元數(shù)據(jù);
DolphinScheduler的使用及底層元數(shù)據(jù)整合;
StreamX的使用及底層元數(shù)據(jù)整合;
Neo4j實(shí)現(xiàn)數(shù)倉(cāng)血緣管理;
利用Debezium實(shí)現(xiàn)接多種數(shù)據(jù)源的采集;
利用Presto實(shí)現(xiàn)即席查詢;
設(shè)計(jì)并實(shí)現(xiàn)自定義數(shù)據(jù)質(zhì)量監(jiān)控;
設(shè)計(jì)并實(shí)現(xiàn)動(dòng)態(tài)數(shù)據(jù)治理評(píng)分;
對(duì)接多種預(yù)警平臺(tái),包括企業(yè)號(hào)、微信、語(yǔ)言通話;
通過(guò)Vue.js 和 Echarts實(shí)現(xiàn)可視化及圖表展示。