阿里云MaxCompute

本項(xiàng)目依托國內(nèi)電商巨頭的真實(shí)業(yè)務(wù)場景，基于目前各大互聯(lián)網(wǎng)企業(yè)對(duì)于阿里云架構(gòu)體系的需求，將整個(gè)電商的數(shù)據(jù)倉庫體系搭建在阿里云架構(gòu)上。全方面完成了整個(gè)數(shù)倉架構(gòu)的海量數(shù)據(jù)采集、存儲(chǔ)、計(jì)算、可視化展示，整個(gè)業(yè)務(wù)流程，全部搭建在阿里云服務(wù)器上，并且全部使用阿里云的服務(wù)組件，將各阿里云服務(wù)組件充分進(jìn)行聯(lián)動(dòng)。
通過本項(xiàng)目的學(xué)習(xí)，學(xué)員可以全方位掌握阿里云的大數(shù)據(jù)服務(wù)組件的使用和調(diào)優(yōu)。

適學(xué)人群

精研技術(shù)、渴望拓寬
技術(shù)面的
大數(shù)據(jù)從業(yè)人員
對(duì)大數(shù)據(jù)感興趣
希望能了解一整套
簡單易行的
大數(shù)據(jù)體系的IT從業(yè)者
從未接觸過開發(fā)
目標(biāo)突破自我
IT小白人群
熟悉RDS、DataHub
DataWorks
DataV、QuickBI
等基礎(chǔ)框架

學(xué)習(xí)收獲

掌握阿里云常用大數(shù)據(jù)技術(shù)框架

掌握基于阿里云服務(wù)器進(jìn)行離線數(shù)據(jù)倉庫和實(shí)時(shí)數(shù)據(jù)倉庫的搭建

了解阿里云的大數(shù)據(jù)組件的協(xié)調(diào)使用

阿里云MaxCompute項(xiàng)目一業(yè)務(wù)分析

技術(shù)點(diǎn)

采用Flume采集用戶行為日志數(shù)據(jù)，適配組件全面調(diào)研，詳盡配置文件和腳本解讀；
采用DTS對(duì)業(yè)務(wù)數(shù)據(jù)庫中的數(shù)十張業(yè)務(wù)數(shù)據(jù)表分不同的同步策略進(jìn)行采集同步；
使用MaxCompute作為核心計(jì)算引擎搭建離線數(shù)據(jù)倉庫，分析離線指標(biāo)體系；

采用實(shí)時(shí)計(jì)算模塊+DataHub作為核心計(jì)算引擎搭建實(shí)時(shí)數(shù)據(jù)倉庫，分析實(shí)時(shí)指標(biāo)體系；
分別采用DataV、QuickBI對(duì)結(jié)果數(shù)據(jù)執(zhí)行可視化大屏展示；
采用DataWorks作為調(diào)度工具對(duì)計(jì)算任務(wù)執(zhí)行定時(shí)調(diào)度，并進(jìn)行安全監(jiān)控。