電商項(xiàng)目（實(shí)時(shí)處理）

課程介紹

項(xiàng)目為使用Spark Streaming技術(shù)開發(fā)的大數(shù)據(jù)實(shí)時(shí)處理平臺(tái)，主要用于互聯(lián)網(wǎng)電商企業(yè)對(duì)各種用戶行為進(jìn)行復(fù)雜的分析，將統(tǒng)計(jì)分析的結(jié)果以接口或圖形化的方式展示出來，輔助產(chǎn)品經(jīng)理、數(shù)據(jù)分析師以及管理人員分析現(xiàn)有產(chǎn)品的情況，并根據(jù)用戶行為分析結(jié)果持續(xù)改進(jìn)產(chǎn)品的設(shè)計(jì)，以及調(diào)整公司的戰(zhàn)略和業(yè)務(wù)，最終達(dá)成用大數(shù)據(jù)技術(shù)幫助公司提升業(yè)績(jī)、營(yíng)業(yè)額以及市場(chǎng)占有率的目標(biāo)。

視頻總時(shí)長(zhǎng)50小時(shí)+，附贈(zèng)各種教輔資料，含筆記、代碼、資料、工具等。通過本套項(xiàng)目講解視頻學(xué)習(xí)，可掌握企業(yè)中使用Spark Streaming進(jìn)行實(shí)時(shí)計(jì)算的完整流程，并掌握整個(gè)環(huán)節(jié)中涉及的各類框架技術(shù)，例如高可用的大數(shù)據(jù)采集框架、高并發(fā)的分布式消息隊(duì)列、基于內(nèi)存的高吞吐實(shí)時(shí)計(jì)算技術(shù)、海量存儲(chǔ)、毫秒級(jí)查詢的數(shù)據(jù)庫(kù)等。

內(nèi)容特點(diǎn)：
1、企業(yè)級(jí)大數(shù)據(jù)項(xiàng)目開發(fā)流程貫穿每個(gè)業(yè)務(wù)模塊的講解，囊括需求分析、方案設(shè)計(jì)、數(shù)據(jù)設(shè)計(jì)、編碼實(shí)現(xiàn)、測(cè)試以及性能調(diào)優(yōu)等環(huán)節(jié)，廣泛還原真實(shí)大數(shù)據(jù)項(xiàng)目的開發(fā)流程，對(duì)實(shí)時(shí)業(yè)務(wù)中涉及的雙流Join以及Kafka精準(zhǔn)一次性消費(fèi)的問題進(jìn)行了細(xì)致的講解；

2、使用SpringBoot對(duì)用戶行為數(shù)據(jù)進(jìn)行采集；

3、通過Canal和Maxwell對(duì)業(yè)務(wù)數(shù)據(jù)庫(kù)進(jìn)行采集；

4、將數(shù)據(jù)采集到分布式消息隊(duì)列Kafka，并在Kafka中進(jìn)行分層處理，主要分為ODS、DWD、DWS、ADS層；

5、使用當(dāng)前最火爆的Spark Streaming搭建高吞吐的數(shù)據(jù)實(shí)時(shí)處理模塊；

6、選用ElasticSearch和ClickHouse作為最終的實(shí)時(shí)數(shù)據(jù)處理結(jié)果的存儲(chǔ)位置，并從中獲取數(shù)據(jù)進(jìn)行展示，進(jìn)一步降低響應(yīng)時(shí)間對(duì)數(shù)據(jù)進(jìn)行分析；

7、可視化展示使用ElasticSearch+Kibnana、自定義數(shù)據(jù)接口+可視化項(xiàng)目以及阿里巴巴的DataV進(jìn)行可視化展示。

適合人群：
有Scala編程基礎(chǔ)，項(xiàng)目使用Scala語言進(jìn)行開發(fā)；
了解Spark編程；
熟悉常用的技術(shù)框架，如Kafka、HBase等（相關(guān)技術(shù)教程可通過尚硅谷官網(wǎng)免費(fèi)獲?。?。