重塑大數(shù)據(jù)課程新范式

尚硅谷與騰訊云、Apache等技術(shù)企業(yè)深度合作
打造AI時(shí)代的新型大數(shù)據(jù)課程

“尚硅谷一直以高質(zhì)量的教學(xué)內(nèi)容在技術(shù)圈廣為傳播, 并且積極擁抱當(dāng)前火熱的技術(shù), 對(duì)開(kāi)源保持密切關(guān)注和支持，深受廣大開(kāi)發(fā)者喜愛(ài)！ 騰訊云彈性MapReduce(EMR)是云上開(kāi)源、開(kāi)放的、云原生的大數(shù)據(jù)基礎(chǔ)分析產(chǎn)品，旨在助力企業(yè)客戶在云上方便、快捷以低成本的方式構(gòu)建云上大數(shù)據(jù)分析基礎(chǔ)平臺(tái)、EMR在開(kāi)源的基礎(chǔ)上解決了安全、組件穩(wěn)定、兼容問(wèn)題的同時(shí)提供了開(kāi)源軟件駕駛艙的能力，以便企業(yè)客戶更好地在云上使用開(kāi)源大數(shù)據(jù)組件并協(xié)助開(kāi)源社區(qū)健康發(fā)展。”

——騰訊云大數(shù)據(jù)EMR研發(fā)負(fù)責(zé)人 陳龍

“作為全球數(shù)據(jù)庫(kù)和大數(shù)據(jù)領(lǐng)域最為活躍的開(kāi)源項(xiàng)目之一，Apache Doris 已受到了越來(lái)越多用戶和開(kāi)發(fā)者的關(guān)注。尚硅谷出品的 Doris 系列課程對(duì)于想深度了解 Apache Doris 的大數(shù)據(jù)工程師而言無(wú)疑是個(gè)福音，由淺入深，詳盡剖析了系統(tǒng)原理，并且理論結(jié)合實(shí)踐、從實(shí)際項(xiàng)目的角度幫助大家可以更好掌握 Apache Doris 使用技巧。期待未來(lái)有更多工程師在尚硅谷課程的幫助下，幫助國(guó)人打造的優(yōu)秀開(kāi)源項(xiàng)目在全球舞臺(tái)繼續(xù)發(fā)光發(fā)熱！”

——Apache Doris PMC 張家鋒

“尚硅谷的教學(xué)視頻讓許多學(xué)習(xí)者能夠快速地了解和掌握開(kāi)源項(xiàng)目的整體框架。你們的努力為開(kāi)源社區(qū)的發(fā)展和壯大奠定了基礎(chǔ)，讓更多的人能夠在開(kāi)源世界中成長(zhǎng)和進(jìn)步?！?

——Apache Seatunnel PMC 、Apache DolphinScheduler PMC、白鯨開(kāi)源COO 聶勵(lì)峰

“尚硅谷一直以高質(zhì)量的教學(xué)內(nèi)容在技術(shù)圈廣為傳播, 并且積極擁抱當(dāng)前火熱的技術(shù), 對(duì)開(kāi)源保持密切關(guān)注和支持，深受廣大開(kāi)發(fā)者喜愛(ài)！Apache StreamPark 是一個(gè)流計(jì)算開(kāi)發(fā)管理平臺(tái), 旨在讓流處理更簡(jiǎn)單, 社區(qū)發(fā)展日漸壯大，有著廣泛的用戶群體, 非常期待和尚硅谷再次合作, 共同打造高質(zhì)量的課程, 讓企業(yè)和開(kāi)發(fā)者們受益。”

——Founder of Apache StreamPark 王華杰

“尚硅谷的課程不僅幫助各行業(yè)的開(kāi)發(fā)人員快速學(xué)習(xí)并掌握核心技術(shù)，也同時(shí)為各開(kāi)源項(xiàng)目提供手把手教學(xué)視頻，使用戶可以快速上手并在生產(chǎn)環(huán)境應(yīng)用，推動(dòng)了開(kāi)源社區(qū)的發(fā)展，并讓天下再無(wú)難學(xué)的技術(shù)。”

——Dinky PMC 亓文凱

課程優(yōu)勢(shì)

  • 引入AI

    本課程全面引入AI輔助開(kāi)發(fā)技巧詳解，貫穿項(xiàng)目實(shí)戰(zhàn)到技術(shù)學(xué)習(xí)各階段。探索教育黑科技，永遠(yuǎn)追求行業(yè)更高標(biāo)準(zhǔn)。大數(shù)據(jù)乘上AI的翅膀，飛往更遼闊的遠(yuǎn)方!

  • 雄厚師資

    專職講師全程面授，多家企業(yè)領(lǐng)域技術(shù)大牛不定期分享自己的實(shí)操經(jīng)驗(yàn)，讓你成為一個(gè)技術(shù)基礎(chǔ)扎實(shí)，且與市場(chǎng)需求實(shí)時(shí)匹配的實(shí)力派。

  • 全程實(shí)戰(zhàn)

    行業(yè)模板拿來(lái)即用，涉及醫(yī)療衛(wèi)生、公共服務(wù)、金融等十?dāng)?shù)個(gè)產(chǎn)業(yè)，70+技術(shù)解決方案，100+關(guān)鍵技術(shù)指標(biāo)，助你成為能解決企業(yè)實(shí)際問(wèn)題的硬核人才。

  • 就業(yè)服務(wù)

    求職期手把手簡(jiǎn)歷指導(dǎo)，傳授面試答題技巧，總結(jié)項(xiàng)目開(kāi)發(fā)經(jīng)驗(yàn)；入職后隨時(shí)技術(shù)支援，做好傳、幫、帶，為學(xué)員發(fā)展持續(xù)提供源動(dòng)力。

項(xiàng)目實(shí)戰(zhàn)

學(xué)企業(yè)真實(shí)項(xiàng)目真流程
掌握讓AI落地的真本領(lǐng)

租房 醫(yī)藥 銀行 服務(wù) 健康 智慧
交通 物流 廣告 直播 電商 保險(xiǎn) 政務(wù) 供應(yīng)鏈 音視頻 區(qū)塊鏈 在線
教育 地產(chǎn) 能源 餐飲 軍工 游戲 人工
智能 車聯(lián)網(wǎng) 金融

18個(gè)硅谷實(shí)戰(zhàn)項(xiàng)目，大數(shù)據(jù)企業(yè)項(xiàng)目直接為學(xué)員所用

  • 電商離線數(shù)倉(cāng)
  • 電商Flink實(shí)時(shí)數(shù)倉(cāng)
  • 在線教育
  • 在線聽(tīng)書
  • 新能源汽車
  • 廣告營(yíng)銷
  • 金融審批
  • 醫(yī)療問(wèn)診
  • 騰訊云EMR物流
  • 阿里云MaxCompute
  • 湖倉(cāng)一體
  • 技術(shù)中臺(tái)
  • 用戶畫像
  • 推薦系統(tǒng)
  • Spark實(shí)時(shí)
  • 彩票項(xiàng)目
  • 保險(xiǎn)項(xiàng)目
  • 統(tǒng)一數(shù)倉(cāng)項(xiàng)目
項(xiàng)目特色

依托國(guó)內(nèi)電商巨頭的實(shí)際業(yè)務(wù)場(chǎng)景，引入海量的真實(shí)點(diǎn)擊數(shù)據(jù)和業(yè)務(wù)數(shù)據(jù)，緊跟大數(shù)據(jù)主流技術(shù)需求，配備AI輔助開(kāi)發(fā)技巧詳解，擁有豐富的數(shù)據(jù)倉(cāng)庫(kù)功能模塊。

學(xué)習(xí)目標(biāo)
  • 全面了解數(shù)據(jù)倉(cāng)庫(kù)建模理論
  • 充分熟悉電商行業(yè)數(shù)據(jù)分析指標(biāo)體系
  • 快速掌握多種大數(shù)據(jù)技術(shù)框架
  • 了解認(rèn)識(shí)多種數(shù)據(jù)倉(cāng)庫(kù)技術(shù)模塊、掌握AI輔助開(kāi)發(fā)技巧
主要技術(shù)棧
Hadoop Flume DataX Maxwell Kafka Spark DolphinScheduler SpringBoot Echart SuperSet Kylin Presto Ranger
項(xiàng)目特色

參考眾多大廠的實(shí)時(shí)數(shù)倉(cāng)項(xiàng)目的經(jīng)典架構(gòu)研發(fā)推出，采用當(dāng)前主流的實(shí)時(shí)數(shù)據(jù)流處理框架Flink作為主要計(jì)算引擎，涉及多種實(shí)時(shí)計(jì)算關(guān)鍵技術(shù)，新增AI輔助開(kāi)發(fā)技巧的講解，全面滿足企業(yè)對(duì)實(shí)時(shí)開(kāi)發(fā)的要求。

學(xué)習(xí)目標(biāo)
  • 了解實(shí)時(shí)數(shù)據(jù)倉(cāng)庫(kù)的建模理論
  • 靈活應(yīng)用Flink的流式計(jì)算技術(shù)，多種技術(shù)框架協(xié)調(diào)配合
  • 靈活應(yīng)用AI，提升開(kāi)發(fā)效率
  • 優(yōu)化項(xiàng)目代碼，融匯貫通整個(gè)大數(shù)據(jù)開(kāi)發(fā)的關(guān)鍵技術(shù)
主要技術(shù)棧
Flume Maxwell Kafka Flink HBase Phoenix Redis ClickHouse SpringBoot SugarBI
項(xiàng)目特色

基于在線教育行業(yè)的實(shí)際業(yè)務(wù)場(chǎng)景，引入海量的真實(shí)點(diǎn)擊數(shù)據(jù)和業(yè)務(wù)數(shù)據(jù)，緊跟大數(shù)據(jù)的主流技術(shù)需求，穿插AI輔助開(kāi)發(fā)技巧講解，搭建了一整套完整的離線數(shù)據(jù)倉(cāng)庫(kù)和實(shí)時(shí)數(shù)據(jù)倉(cāng)庫(kù)。

學(xué)習(xí)目標(biāo)
  • 充分了解在線教育行業(yè)的業(yè)務(wù)數(shù)據(jù)體系，熟悉在線教育行業(yè)的離線指標(biāo)體系
  • 熟悉在線教育行業(yè)的實(shí)時(shí)指標(biāo)體系，充分掌握多種大數(shù)據(jù)技術(shù)框架的協(xié)調(diào)應(yīng)用，充分掌握AI輔助開(kāi)發(fā)技巧
主要技術(shù)棧
Hadoop Flume DataX Maxwell Kafka Spark DolphinScheduler SpringBoot Echarts SuperSet Kylin Presto Ranger Flink HBase Phoenix Redis Doris SugarBI
項(xiàng)目特色

涵蓋了大數(shù)據(jù)的數(shù)倉(cāng)建模理論、數(shù)據(jù)處理技術(shù)手段和大數(shù)據(jù)平臺(tái)搭建方法，依托真實(shí)在線聽(tīng)書行業(yè)的實(shí)際業(yè)務(wù)場(chǎng)景，展示全面的離線與實(shí)時(shí)的指標(biāo)體系，配備AI輔助開(kāi)發(fā)技巧詳解。

學(xué)習(xí)目標(biāo)
  • 充分了解在線聽(tīng)書行業(yè)的業(yè)務(wù)數(shù)據(jù)體系，熟悉在線聽(tīng)書行業(yè)的離線指標(biāo)體系
  • 熟悉在線聽(tīng)書行業(yè)的實(shí)時(shí)指標(biāo)體系，充分掌握多種大數(shù)據(jù)技術(shù)框架的協(xié)調(diào)應(yīng)用，充分掌握AI輔助開(kāi)發(fā)技巧
主要技術(shù)棧
Hadoop Flume Kafka Maxwell DataX Hive Spark Flink SugarBI ClickHouse Redis HBase Phoenix DolphinScheduler
項(xiàng)目特色

站在汽車物聯(lián)網(wǎng)數(shù)據(jù)倉(cāng)庫(kù)的技術(shù)前列，依托真實(shí)汽車傳感器數(shù)據(jù)，展示完整的離線指標(biāo)體系，搭建功能完善的離線數(shù)據(jù)倉(cāng)庫(kù)，熟練應(yīng)用大數(shù)據(jù)技術(shù)框架。

學(xué)習(xí)目標(biāo)
  • 充分了解汽車物聯(lián)網(wǎng)行業(yè)的業(yè)務(wù)數(shù)據(jù)體系
  • 熟悉汽車物聯(lián)網(wǎng)行業(yè)的離線指標(biāo)體系
  • 充分掌握多種大數(shù)據(jù)技術(shù)框架的協(xié)調(diào)應(yīng)用
  • 掌握AI輔助開(kāi)發(fā)技巧
主要技術(shù)棧
Hadoop Flume Kafka Maxwell DataX Hive Spark DolphinScheduler
項(xiàng)目特色

依托真實(shí)廣告行業(yè)的實(shí)際業(yè)務(wù)場(chǎng)景，透徹講解互聯(lián)網(wǎng)廣告發(fā)展歷程和廣告完整運(yùn)營(yíng)流程，展示全面的廣告指標(biāo)體系，學(xué)習(xí)數(shù)據(jù)分析工具，配備AI輔助開(kāi)發(fā)技巧詳解。

學(xué)習(xí)目標(biāo)
  • 全面了解數(shù)據(jù)倉(cāng)庫(kù)建模理論
  • 充分熟悉廣告行業(yè)運(yùn)營(yíng)流程、專業(yè)術(shù)語(yǔ)和數(shù)據(jù)分析指標(biāo)體系
  • 徹底掌握多種大數(shù)據(jù)技術(shù)框架
  • 掌握AI輔助開(kāi)發(fā)技巧
主要技術(shù)棧
Hadoop Flume DataX Kafka Hive Spark DolphinScheduler ClickHouse FineBI
項(xiàng)目特色

依托真實(shí)的金融審批行業(yè)的海量業(yè)務(wù)數(shù)據(jù)，構(gòu)建離線數(shù)據(jù)倉(cāng)庫(kù)，依據(jù)數(shù)倉(cāng)建模理論完成數(shù)據(jù)的存儲(chǔ)、分析與調(diào)取，分析實(shí)現(xiàn)整套金融審批指標(biāo)體系，構(gòu)建指標(biāo)分析儀表盤。

學(xué)習(xí)目標(biāo)
  • 充分了解金融審批行業(yè)的業(yè)務(wù)數(shù)據(jù)體系
  • 熟悉金融審批行業(yè)的離線指標(biāo)體系
  • 充分掌握多種大數(shù)據(jù)技術(shù)框架的協(xié)調(diào)應(yīng)用
  • 掌握AI輔助開(kāi)發(fā)技巧
主要技術(shù)棧
Hadoop Flume Kafka Maxwell DataX Hive Spark DolphinScheduler SuperSet
項(xiàng)目特色

依托真實(shí)的醫(yī)療問(wèn)診行業(yè)的海量業(yè)務(wù)數(shù)據(jù)，構(gòu)建離線數(shù)據(jù)倉(cāng)庫(kù)，依據(jù)數(shù)倉(cāng)建模理論完成數(shù)據(jù)的存儲(chǔ)、分析與調(diào)取，分析實(shí)現(xiàn)整套醫(yī)療問(wèn)診指標(biāo)體系，構(gòu)建指標(biāo)分析儀表盤。

學(xué)習(xí)目標(biāo)
  • 充分了解醫(yī)療問(wèn)診行業(yè)的業(yè)務(wù)數(shù)據(jù)體系
  • 熟悉醫(yī)療問(wèn)診行業(yè)的離線指標(biāo)體系
  • 充分掌握多種大數(shù)據(jù)技術(shù)框架的協(xié)調(diào)應(yīng)用
  • 掌握AI輔助開(kāi)發(fā)技巧
主要技術(shù)棧
Hadoop Flume Kafka Maxwell DataX Hive Spark DolphinScheduler SuperSet
項(xiàng)目特色

依托物流行業(yè)的真實(shí)業(yè)務(wù)場(chǎng)景，基于目前各大互聯(lián)網(wǎng)企業(yè)對(duì)于騰訊云EMR架構(gòu)體系的需求，將整個(gè)電商的數(shù)據(jù)倉(cāng)庫(kù)體系搭建在騰訊云架構(gòu)上。課程中穿插對(duì)AI輔助開(kāi)發(fā)技巧詳細(xì)講解，令A(yù)I真正賦能大數(shù)據(jù)開(kāi)發(fā)。

學(xué)習(xí)目標(biāo)
  • 掌握騰訊云常用大數(shù)據(jù)技術(shù)框架的使用、選型和購(gòu)買
  • 掌握基于騰訊云EMR進(jìn)行離線數(shù)據(jù)倉(cāng)庫(kù)和利用EMR進(jìn)行實(shí)時(shí)數(shù)據(jù)倉(cāng)庫(kù)的搭建
  • 充分掌握AI輔助開(kāi)發(fā)技巧
主要技術(shù)棧
騰訊云EMR中的Hive Spark Hadoop Flink Flume Kafka
項(xiàng)目特色

依托國(guó)內(nèi)電商巨頭的真實(shí)業(yè)務(wù)場(chǎng)景，基于目前各大互聯(lián)網(wǎng)企業(yè)對(duì)于阿里云架構(gòu)體系的需求，將整個(gè)電商的數(shù)據(jù)倉(cāng)庫(kù)體系搭建在阿里云架構(gòu)上，做到全項(xiàng)目全流程上云。

學(xué)習(xí)目標(biāo)
  • 掌握阿里云常用大數(shù)據(jù)技術(shù)框架
  • 掌握基于阿里云服務(wù)器進(jìn)行離線數(shù)據(jù)倉(cāng)庫(kù)和實(shí)時(shí)數(shù)據(jù)倉(cāng)庫(kù)的搭建
主要技術(shù)棧
Flume RDS DataHub DataWorks DataV QuickBI Flink MaxCompute
項(xiàng)目特色

該項(xiàng)目是一個(gè)完整可落地的湖倉(cāng)一體項(xiàng)目，依托真實(shí)電商行業(yè)的海量數(shù)據(jù)集，充分利用Hudi，將數(shù)據(jù)湖概念與數(shù)倉(cāng)建模理論融匯貫通，將Hudi與其他主要大數(shù)據(jù)框架充分集成。

學(xué)習(xí)目標(biāo)
  • 充分了解數(shù)據(jù)湖與數(shù)據(jù)倉(cāng)庫(kù)的概念區(qū)別
  • 熟悉數(shù)據(jù)湖的構(gòu)建開(kāi)發(fā)流程
  • 充分掌握Hudi與多種大數(shù)據(jù)框架的協(xié)調(diào)應(yīng)用
主要技術(shù)棧
Flink Hudi Hadoop Flume Kafka FlinkCDC Hive Superset
項(xiàng)目特色

一站式搞定數(shù)據(jù)治理、血緣管理、元數(shù)據(jù)管理、數(shù)據(jù)質(zhì)量監(jiān)控、批處理和實(shí)時(shí)處理的可視化調(diào)度、可視化即席查詢、可視化數(shù)據(jù)采集配置。

學(xué)習(xí)目標(biāo)
  • 掌握技術(shù)中臺(tái)中的核心功能開(kāi)發(fā)原理
  • 掌握大數(shù)據(jù)、JavaEE和前端技術(shù)的融合
主要技術(shù)棧
SpringBoot Vue ClickHouse Presto Spark Hive Flink DolphinScheduler
項(xiàng)目特色

著眼于用數(shù)字化的標(biāo)簽描述用戶個(gè)性特征、勾畫目標(biāo)用戶，實(shí)現(xiàn)了從標(biāo)簽定義、標(biāo)簽任務(wù)處理、任務(wù)調(diào)度、任務(wù)監(jiān)控、用戶分區(qū)、用戶洞察的全功能平臺(tái)化管理。

學(xué)習(xí)目標(biāo)
  • 充分理解用戶畫像管理平臺(tái)的搭建及使用
  • 了解用戶畫像系統(tǒng)的設(shè)計(jì)思路
  • 掌握標(biāo)簽的設(shè)計(jì)流程及應(yīng)用
  • 初步了解機(jī)器學(xué)習(xí)算法
主要技術(shù)棧
Spark MLib ClickHouse Redis Vue SpringBoot MyBatis
項(xiàng)目特色

依托于真實(shí)的中文亞馬遜電商數(shù)據(jù)集，以及真實(shí)的電商企業(yè)業(yè)務(wù)數(shù)據(jù)體系，構(gòu)建了符合教學(xué)體系的一體化電商推薦系統(tǒng)，充分理解推薦系統(tǒng)的運(yùn)作流程，拓寬技術(shù)視野。

學(xué)習(xí)目標(biāo)
  • 系統(tǒng)性梳理整合大數(shù)據(jù)技術(shù)知識(shí)與機(jī)器學(xué)習(xí)相關(guān)知識(shí)
  • 深入了解推薦系統(tǒng)在電商企業(yè)中的實(shí)際應(yīng)用
  • 深入學(xué)習(xí)并掌握多種推薦算法
主要技術(shù)棧
Flume Kafka MongoDB Spark Streaming ElasticSearch Git Redis
項(xiàng)目特色

依托企業(yè)級(jí)真實(shí)的實(shí)時(shí)數(shù)據(jù)分析環(huán)境，對(duì)目前互聯(lián)網(wǎng)大廠中常見(jiàn)的實(shí)時(shí)分析場(chǎng)景提出了一套基于SparkStreaming的全面實(shí)用的技術(shù)解決方案，豐富實(shí)時(shí)技術(shù)棧。

學(xué)習(xí)目標(biāo)
  • 全面掌握Scala語(yǔ)言開(kāi)發(fā)Spark的實(shí)時(shí)計(jì)算任務(wù)的開(kāi)發(fā)技巧
  • 了解使用不同的CDC框架，提升實(shí)時(shí)方向的項(xiàng)目開(kāi)發(fā)經(jīng)驗(yàn)
主要技術(shù)棧
Flume Canal Maxwell Kafka SparkStreaming HBase Phoenix Redis ElasticSearch Kibana SpringBoot SugarBI
項(xiàng)目特色

依托真實(shí)的彩票行業(yè)的海量業(yè)務(wù)數(shù)據(jù)，構(gòu)建離線數(shù)據(jù)倉(cāng)庫(kù)，依據(jù)數(shù)倉(cāng)建模理論完成數(shù)據(jù)的存儲(chǔ)、分析與調(diào)取，分析實(shí)現(xiàn)整套彩票指標(biāo)體系，構(gòu)建指標(biāo)分析儀表盤。

學(xué)習(xí)目標(biāo)
  • 充分了解彩票行業(yè)的業(yè)務(wù)數(shù)據(jù)體系
  • 熟悉彩票行業(yè)的離線指標(biāo)體系
  • 充分掌握多種大數(shù)據(jù)技術(shù)框架的協(xié)調(diào)應(yīng)用
  • 掌握AI輔助開(kāi)發(fā)技巧
主要技術(shù)棧
Hadoop Flume Kafka Maxwell DataX Hive Spark DolphinScheduler SuperSet
項(xiàng)目特色

依托真實(shí)的保險(xiǎn)行業(yè)的海量業(yè)務(wù)數(shù)據(jù)，構(gòu)建離線數(shù)據(jù)倉(cāng)庫(kù)，依據(jù)數(shù)倉(cāng)建模理論完成數(shù)據(jù)的存儲(chǔ)、分析與調(diào)取，分析實(shí)現(xiàn)整套保險(xiǎn)指標(biāo)體系，構(gòu)建指標(biāo)分析儀表盤。

學(xué)習(xí)目標(biāo)
  • 充分了解保險(xiǎn)行業(yè)的業(yè)務(wù)數(shù)據(jù)體系
  • 熟悉保險(xiǎn)行業(yè)的離線指標(biāo)體系
  • 充分掌握多種大數(shù)據(jù)技術(shù)框架的協(xié)調(diào)應(yīng)用
  • 掌握AI輔助開(kāi)發(fā)技巧
主要技術(shù)棧
Hadoop Flume Kafka Maxwell DataX Hive Spark DolphinScheduler SuperSet
項(xiàng)目特色

該項(xiàng)目是一個(gè)完整可落地的統(tǒng)一數(shù)倉(cāng)項(xiàng)目，依托真實(shí)電商行業(yè)的海量數(shù)據(jù)集，充分利用Doris，將Doris概念與數(shù)倉(cāng)建模理論融匯貫通，將Doris與其他主要大數(shù)據(jù)框架充分集成。

學(xué)習(xí)目標(biāo)
  • 充分了解統(tǒng)一數(shù)倉(cāng)與數(shù)據(jù)倉(cāng)庫(kù)的區(qū)別
  • 熟悉統(tǒng)一數(shù)倉(cāng)的構(gòu)建開(kāi)發(fā)流程
  • 充分掌握Doris與多種大數(shù)據(jù)框架的協(xié)調(diào)應(yīng)用
主要技術(shù)棧
Flink Doris SeaTunnel DolphinScheduler FineBI

課程大綱

200+ 新技術(shù)點(diǎn)廣泛覆蓋企業(yè)需求

強(qiáng)強(qiáng)聯(lián)合！尚硅谷已與Apache多個(gè)開(kāi)源項(xiàng)目形成合作：

DolphinScheduler、Hudi、Iceberg、Doris、Kylin、SeaTunnel、StreamPark

  • Flink
  • Kylin
  • Presto
  • Impala
  • Druid
  • Kudu
  • ClickHouse
  • Ambari
  • Airflow
  • Hue
  • DataX
  • Griffin
  • Kettle
  • Zabbix
  • MaxWell
  • NiFi
  • Structured Steaming
  • Tableau
  • Tidb
  • Phoenix
  • Druid
  • Filebeat
  • InfluxDB
  • Saiku
  • Sentry
  • Superset
  • Ranger
  • Atlas
  • JavaSE
  • MySQL
  • JDBC
  • Maven
  • IDEA
  • Redis
  • Git
  • Shell
  • Linux
  • Hadoop
  • Hive
  • Zookeeper
  • HBase
  • Sqoop
  • Azkaban
  • Oozie
  • JVM
  • JUC
  • Flume
  • Kafka
  • SpringBoot
  • Logstash
  • Kibanna
  • Spark Core
  • Spark SQL
  • Spark Streaming
  • ElasticSearch
  • Hudi
  • StreamPark
  • Docker
  • StreamSets
  • Iceberg
  • FlinkCDC
  • Doris
  • StarRocks
  • SeaTunnel
  • Zabbix
  • Grafana
  • ClickHouse
  • Prometheus
  • DolphinScheduler
  • Debezium
  • nmon
  • MaxCompute
  • DataHub
  • suga
  • DataV
  • QuickBI
  • DataWorks
  • Impala
  • HDFS
  • Yarn
  • MapReduce
  • FlinkSQL
  • EMR
  • Hive-on-Spark
  • Kubernetes
  • K8S
  • Spark-on-K8S
  • Flink-on-K8S
  • OGG
  • GitEE
  • JUC
  • Oracle
  • AWS
  • CDH
  • HDP
  • SqlServer
  • PostgreSQL
  • PrestoDB
  • PrestoSQL
  • Flink
  • Kylin
  • Presto
  • Impala
  • Druid
  • Kudu
  • ClickHouse
  • Ambari
  • Airflow
  • Hue
  • DataX
  • Griffin
  • Kettle
  • Zabbix
  • MaxWell
  • NiFi
  • Structured Steaming
  • Tableau
  • Tidb
  • Phoenix
  • Druid
  • Filebeat
  • InfluxDB
  • Saiku
  • Sentry
  • Superset
  • Ranger
  • Atlas
  • JavaSE
  • MySQL
  • JDBC
  • Maven
  • IDEA
  • Redis
  • Git
  • Shell
  • Linux
  • Hadoop
  • Hive
  • Zookeeper
  • HBase
  • Sqoop
  • Azkaban
  • Oozie
  • JVM
  • JUC
  • Flume
  • Kafka
  • SpringBoot
  • Logstash
  • Kibanna
  • Spark Core
  • Spark SQL
  • Spark Streaming
  • ElasticSearch
  • Hudi
  • StreamPark
  • Docker
  • StreamSets
  • Iceberg
  • FlinkCDC
  • Doris
  • StarRocks
  • SeaTunnel
  • Zabbix
  • Grafana
  • ClickHouse
  • Prometheus
  • DolphinScheduler
  • Debezium
  • nmon
  • MaxCompute
  • DataHub
  • suga
  • DataV
  • QuickBI
  • DataWorks
  • Impala
  • HDFS
  • Yarn
  • MapReduce
  • FlinkSQL
  • EMR
  • Hive-on-Spark
  • Kubernetes
  • K8S
  • Spark-on-K8S
  • Flink-on-K8S
  • OGG
  • GitEE
  • JUC
  • Oracle
  • AWS
  • CDH
  • HDP
  • SqlServer
  • PostgreSQL
  • PrestoDB
  • PrestoSQL
  • Flink
  • Kylin
  • Presto
  • Impala
  • Druid
  • Kudu
  • ClickHouse
  • Ambari
  • Airflow
  • Hue
  • DataX
  • Griffin
  • Kettle
  • Zabbix
  • MaxWell
  • NiFi
  • Structured Steaming
  • Tableau
  • Tidb
  • Phoenix
  • Druid
  • Filebeat
  • InfluxDB
  • Saiku
  • Sentry
  • Superset
  • Ranger
  • Atlas
  • JavaSE
  • MySQL
  • JDBC
  • Maven
  • IDEA
  • Redis
  • Git
  • Shell
  • Linux
  • Hadoop
  • Hive
  • Zookeeper
  • HBase
  • Sqoop
  • Azkaban
  • Oozie
  • JVM
  • JUC
  • Flume
  • Kafka
  • SpringBoot
  • Logstash
  • Kibanna
  • Spark Core
  • Spark SQL
  • Spark Streaming
  • ElasticSearch
  • Hudi
  • StreamPark
  • Docker
  • StreamSets
  • Iceberg
  • FlinkCDC
  • Doris
  • StarRocks
  • SeaTunnel
  • Zabbix
  • Grafana
  • ClickHouse
  • Prometheus
  • DolphinScheduler
  • Debezium
  • nmon
  • MaxCompute
  • DataHub
  • suga
  • DataV
  • QuickBI
  • DataWorks
  • Impala
  • HDFS
  • Yarn
  • MapReduce
  • FlinkSQL
  • EMR
  • Hive-on-Spark
  • Kubernetes
  • K8S
  • Spark-on-K8S
  • Flink-on-K8S
  • OGG
  • GitEE
  • JUC
  • Oracle
  • AWS
  • CDH
  • HDP
  • SqlServer
  • PostgreSQL
  • PrestoDB
  • PrestoSQL
  • Flink
  • Kylin
  • Presto
  • Impala
  • Druid
  • Kudu
  • ClickHouse
  • Ambari
  • Airflow
  • Hue
  • DataX
  • Griffin
  • Kettle
  • Zabbix
  • MaxWell
  • NiFi
  • Structured Steaming
  • Tableau
  • Tidb
  • Phoenix
  • Druid
  • Filebeat
  • InfluxDB
  • Saiku
  • Sentry
  • Superset
  • Ranger
  • Atlas
  • JavaSE
  • MySQL
  • JDBC
  • Maven
  • IDEA
  • Redis
  • Git
  • Shell
  • Linux
  • Hadoop
  • Hive
  • Zookeeper
  • HBase
  • Sqoop
  • Azkaban
  • Oozie
  • JVM
  • JUC
  • Flume
  • Kafka
  • SpringBoot
  • Logstash
  • Kibanna
  • Spark Core
  • Spark SQL
  • Spark Streaming
  • ElasticSearch
  • Hudi
  • StreamPark
  • Docker
  • StreamSets
  • Iceberg
  • FlinkCDC
  • Doris
  • StarRocks
  • SeaTunnel
  • Zabbix
  • Grafana
  • ClickHouse
  • Prometheus
  • DolphinScheduler
  • Debezium
  • nmon
  • MaxCompute
  • DataHub
  • suga
  • DataV
  • QuickBI
  • DataWorks
  • Impala
  • HDFS
  • Yarn
  • MapReduce
  • FlinkSQL
  • EMR
  • Hive-on-Spark
  • Kubernetes
  • K8S
  • Spark-on-K8S
  • Flink-on-K8S
  • OGG
  • GitEE
  • JUC
  • Oracle
  • AWS
  • CDH
  • HDP
  • SqlServer
  • PostgreSQL
  • PrestoDB
  • PrestoSQL
  • Flink
  • Kylin
  • Presto
  • Impala
  • Druid
  • Kudu
  • ClickHouse
  • Ambari
  • Airflow
  • Hue
  • DataX
  • Griffin
  • Kettle
  • Zabbix
  • MaxWell
  • NiFi
  • Structured Steaming
  • Tableau
  • Tidb
  • Phoenix
  • Druid
  • Filebeat
  • InfluxDB
  • Saiku
  • Sentry
  • Superset
  • Ranger
  • Atlas
  • JavaSE
  • MySQL
  • JDBC
  • Maven
  • IDEA
  • Redis
  • Git
  • Shell
  • Linux
  • Hadoop
  • Hive
  • Zookeeper
  • HBase
  • Sqoop
  • Azkaban
  • Oozie
  • JVM
  • JUC
  • Flume
  • Kafka
  • SpringBoot
  • Logstash
  • Kibanna
  • Spark Core
  • Spark SQL
  • Spark Streaming
  • ElasticSearch
  • Hudi
  • StreamPark
  • Docker
  • StreamSets
  • Iceberg
  • FlinkCDC
  • Doris
  • StarRocks
  • SeaTunnel
  • Zabbix
  • Grafana
  • ClickHouse
  • Prometheus
  • DolphinScheduler
  • Debezium
  • nmon
  • MaxCompute
  • DataHub
  • suga
  • DataV
  • QuickBI
  • DataWorks
  • Impala
  • HDFS
  • Yarn
  • MapReduce
  • FlinkSQL
  • EMR
  • Hive-on-Spark
  • Kubernetes
  • K8S
  • Spark-on-K8S
  • Flink-on-K8S
  • OGG
  • GitEE
  • JUC
  • Oracle
  • AWS
  • CDH
  • HDP
  • SqlServer
  • PostgreSQL
  • PrestoDB
  • PrestoSQL
  • Flink
  • Kylin
  • Presto
  • Impala
  • Druid
  • Kudu
  • ClickHouse
  • Ambari
  • Airflow
  • Hue
  • DataX
  • Griffin
  • Kettle
  • Zabbix
  • MaxWell
  • NiFi
  • Structured Steaming
  • Tableau
  • Tidb
  • Phoenix
  • Druid
  • Filebeat
  • InfluxDB
  • Saiku
  • Sentry
  • Superset
  • Ranger
  • Atlas
  • JavaSE
  • MySQL
  • JDBC
  • Maven
  • IDEA
  • Redis
  • Git
  • Shell
  • Linux
  • Hadoop
  • Hive
  • Zookeeper
  • HBase
  • Sqoop
  • Azkaban
  • Oozie
  • JVM
  • JUC
  • Flume
  • Kafka
  • SpringBoot
  • Logstash
  • Kibanna
  • Spark Core
  • Spark SQL
  • Spark Streaming
  • ElasticSearch
  • Hudi
  • StreamPark
  • Docker
  • StreamSets
  • Iceberg
  • FlinkCDC
  • Doris
  • StarRocks
  • SeaTunnel
  • Zabbix
  • Grafana
  • ClickHouse
  • Prometheus
  • DolphinScheduler
  • Debezium
  • nmon
  • MaxCompute
  • DataHub
  • suga
  • DataV
  • QuickBI
  • DataWorks
  • Impala
  • HDFS
  • Yarn
  • MapReduce
  • FlinkSQL
  • EMR
  • Hive-on-Spark
  • Kubernetes
  • K8S
  • Spark-on-K8S
  • Flink-on-K8S
  • OGG
  • GitEE
  • JUC
  • Oracle
  • AWS
  • CDH
  • HDP
  • SqlServer
  • PostgreSQL
  • PrestoDB
  • PrestoSQL

6大階段塑造高效成才路線

階段一 Java基礎(chǔ)核心 收起
核心技能
  • 1深入理解Java面向?qū)ο笏枷?/span>
  • 2掌握開(kāi)發(fā)中常用基礎(chǔ)API
  • 3熟練使用集合框架、IO流、異常
  • 4能夠基于JDK8開(kāi)發(fā)
  • 5熟練使用MySQL，掌握SQL語(yǔ)法
課程設(shè)計(jì)特色

本階段除了JavaSE中要求大家必會(huì)的常見(jiàn)知識(shí)外，重點(diǎn)加強(qiáng)了數(shù)據(jù)結(jié)構(gòu)思想、集合源碼分析，逐步培養(yǎng)大家深入學(xué)習(xí)的能力，此外為大數(shù)據(jù)框架學(xué)習(xí)打好基礎(chǔ)，加

強(qiáng)對(duì)SQL的講解，重點(diǎn)培養(yǎng)學(xué)生數(shù)據(jù)處理思想。

關(guān)鍵技術(shù)清單
  • Java基礎(chǔ)語(yǔ)法
    • 分支結(jié)構(gòu)if/switch、循環(huán)結(jié)構(gòu)for/while/do while
    • 方法聲明和調(diào)用、參數(shù)傳遞
    • 方法重載、數(shù)組的使用、命令行參數(shù)、可變參數(shù)
  • IDEA
    • IDEA常用設(shè)置、常用快捷鍵、自定義模板、關(guān)聯(lián)Tomcat、Web項(xiàng)目案例實(shí)操
  • 面向?qū)ο缶幊?/span>
    • 封裝、繼承、多態(tài)
    • 構(gòu)造器、包
    • super、this、Object類
    • 異常處理機(jī)制
    • 抽象類、接口、內(nèi)部類
    • 枚舉、注解、代理設(shè)計(jì)模式
    • 工廠設(shè)計(jì)模式、模板設(shè)計(jì)模式
    • 面向?qū)ο蟾呒?jí)應(yīng)用
    • 常用基礎(chǔ)API、集合List/Set/Map、泛型、線程的創(chuàng)建和啟動(dòng)
    • 深入集合源碼分析、常見(jiàn)數(shù)據(jù)結(jié)構(gòu)解析
    • 線程的安全、同步和通信、IO流體系、反射、類的加載機(jī)制、網(wǎng)絡(luò)編程
  • Java8-17新特性
    • Lambda表達(dá)式、方法引用、構(gòu)造器引用、StreamAPI
    • jShell(JShell)命令、接口的私有方法、Optional加強(qiáng)
    • 局部變量的類型推斷、更簡(jiǎn)化的編譯運(yùn)行程序等
  • MySQL
    • DML語(yǔ)言、DDL語(yǔ)言、DCL語(yǔ)言
    • 分組查詢、Join查詢、子查詢、Union查詢、函數(shù)
    • 流程控制語(yǔ)句、事務(wù)的特點(diǎn)、事務(wù)的隔離級(jí)別等
    • 索引和優(yōu)化、存儲(chǔ)引擎、鎖機(jī)制、高可用設(shè)計(jì)、集群
    • 分庫(kù)分表、主從復(fù)制、視圖
    • 存儲(chǔ)過(guò)程、觸發(fā)器、自定義函數(shù)等
  • JDBC
    • 使用JDBC完成數(shù)據(jù)庫(kù)增刪改查操作、批處理的操作
    • 數(shù)據(jù)庫(kù)連接池的原理及應(yīng)用
    • 常見(jiàn)數(shù)據(jù)庫(kù)連接池C3P0、DBCP、Druid等
階段二 Hadoop生態(tài)體系架構(gòu) 點(diǎn)擊展開(kāi)
核心技能
  • 1Linux系統(tǒng)的安裝和操作
  • 2熟練掌握Shell腳本語(yǔ)法
  • 3IDEA、Maven等開(kāi)發(fā)工具的使用
  • 4Hadoop組成、安裝、架構(gòu)和源碼深度解析，以及API的熟練使用
  • 5Hive的安裝部署、內(nèi)部架構(gòu)、熟練使用其開(kāi)發(fā)需求以及企業(yè)級(jí)調(diào)優(yōu)
  • 6Zookeeper的內(nèi)部原理、選舉機(jī)制以及大數(shù)據(jù)生態(tài)體系下的應(yīng)用
  • 7Flume的架構(gòu)原理、組件自定義、監(jiān)控搭建，熟練使用Flume開(kāi)發(fā)實(shí)戰(zhàn)需求
  • 8Kafka的安裝部署以及框架原理，重點(diǎn)掌握Kafka的分區(qū)分配策略、數(shù)據(jù)可靠性、數(shù)據(jù)一致性、數(shù)據(jù)亂序處理、零拷貝原理、高效讀寫原理、消費(fèi)策略、再平衡等內(nèi)容
  • 9統(tǒng)籌Hadoop生態(tài)下的Hadoop、Flume 、Zookeeper、Kafka、DataX、MaxWell等諸多框架，搭建數(shù)據(jù)采集系統(tǒng)，熟練掌握框架結(jié)構(gòu)和企業(yè)級(jí)調(diào)優(yōu)手段
課程設(shè)計(jì)特色

本階段以Hadoop生態(tài)系統(tǒng)為主，是大數(shù)據(jù)主要框架的入門階段。根據(jù)課程的前后關(guān)聯(lián)性，先后為L(zhǎng)inux、Hadoop、Hive、Zookeeper、Flume、Kafka、電商數(shù)據(jù)采集項(xiàng)目。課程順序經(jīng)過(guò)精心調(diào)研安排，符合學(xué)習(xí)的基本認(rèn)知規(guī)律。每個(gè)框架的

講解都是從基礎(chǔ)的安裝部署和架構(gòu)講解入手，穿插經(jīng)典實(shí)操案例，配以關(guān)鍵源碼解讀。階段最后安排講解數(shù)據(jù)倉(cāng)庫(kù)采集系統(tǒng)，對(duì)各種框架融會(huì)貫通，帶領(lǐng)學(xué)員回顧所學(xué)框架的同時(shí)，迅速增長(zhǎng)實(shí)際開(kāi)發(fā)經(jīng)驗(yàn)。

關(guān)鍵技術(shù)清單
  • Maven
    • Maven環(huán)境搭建、本地倉(cāng)庫(kù)&中央倉(cāng)庫(kù)、創(chuàng)建Web工程、自動(dòng)部署&持續(xù)繼承&持續(xù)部署
  • Linux
    • VI/VIM編輯器、系統(tǒng)管理操作&遠(yuǎn)程登錄、常用命令、軟件包管理&企業(yè)真題
  • Shell編程
    • 自定義變量與特殊變量、運(yùn)算符、條件判斷、流程控制、系統(tǒng)函數(shù)&自定義函數(shù)
    • 常用工具命令、常用正則表達(dá)式、面試真題
  • Hadoop
    • Hadoop生態(tài)介紹、Hadoop運(yùn)行模式、源碼編譯、HDFS文件系統(tǒng)底層詳解
    • DN&NN工作機(jī)制、HDFS的API操作、MapReduce框架原理
    • 數(shù)據(jù)壓縮、Yarn工作機(jī)制、MapReduce案例詳解、Hadoop參數(shù)調(diào)優(yōu)
  • Zookeeper
    • Zookeeper數(shù)據(jù)結(jié)果、內(nèi)部原理、選舉機(jī)制、Stat結(jié)構(gòu)體、監(jiān)聽(tīng)器、分布式安裝部署
    • API操作、實(shí)戰(zhàn)案例、面試真題
  • HA+新特性
    • HDFS-HA集群配置
  • Hive
    • Hive架構(gòu)原理、安裝部署、遠(yuǎn)程連接、常見(jiàn)命令及基本數(shù)據(jù)類型、DML數(shù)據(jù)操作
    • 查詢語(yǔ)句、Join&排序、分桶&函數(shù)、壓縮&存儲(chǔ)、企業(yè)級(jí)調(diào)優(yōu)、實(shí)戰(zhàn)案例、面試真題
  • Flume
    • Flume架構(gòu)、Agent內(nèi)部原理、事務(wù)、安裝部署、實(shí)戰(zhàn)案例、自定義Source
    • 自定義Sink、Ganglia監(jiān)控
  • Kafka
    • 基礎(chǔ)架構(gòu)、安裝部署、命令行操作、生產(chǎn)者消息發(fā)送流程、異步發(fā)送API、同步發(fā)送API
    • 生產(chǎn)者分區(qū)策略、生產(chǎn)者如何提高吞吐量、數(shù)據(jù)可靠性、數(shù)據(jù)去重、數(shù)據(jù)有序、數(shù)據(jù)亂序
    • 節(jié)點(diǎn)服役和退役、Leader選舉流程、文件存儲(chǔ)機(jī)制、高效讀寫原理、消費(fèi)策略、數(shù)據(jù)積壓
    • Kafka-Eagle監(jiān)控、Kafka-Kraft模式
階段三 Spark生態(tài)體系架構(gòu) 點(diǎn)擊展開(kāi)
核心技能
  • 1Spark的入門安裝部署、Spark Core部分的基本API使用熟練、RDD編程進(jìn)階、累加器和廣播變量的使用和原理掌握、Spark SQL的編程掌握和如何自定義函數(shù)、Spark的內(nèi)核源碼詳解（包括部署、啟動(dòng)、任務(wù)劃分調(diào)度、內(nèi)存管理等）、Spark的企業(yè)級(jí)調(diào)優(yōu)策略
  • 2DophineScheduler的安裝部署，熟練使用進(jìn)行工作流的調(diào)度執(zhí)行
  • 3全面了解數(shù)據(jù)倉(cāng)庫(kù)建模理論，充分熟悉電商行業(yè)數(shù)據(jù)分析指標(biāo)體系，快速掌握多種大數(shù)據(jù)技術(shù)框架，了解認(rèn)識(shí)多種數(shù)據(jù)倉(cāng)庫(kù)技術(shù)模塊
  • 4HBase和Phoenix的部署使用、原理架構(gòu)講解與企業(yè)級(jí)優(yōu)化
  • 5開(kāi)發(fā)工具Git&Git Hub的熟練使用
  • 6Redis的入門、基本配置講解、jedis的熟練掌握
  • 7ElasticSearch的入門安裝部署及調(diào)優(yōu)
  • 8充分理解用戶畫像管理平臺(tái)的搭建及使用、用戶畫像系統(tǒng)的設(shè)計(jì)思路，以及標(biāo)簽的設(shè)計(jì)流程及應(yīng)用，初步了解機(jī)器學(xué)習(xí)算法
  • 9項(xiàng)目實(shí)戰(zhàn)。貼近大數(shù)據(jù)的實(shí)際處理場(chǎng)景，全方面設(shè)計(jì)實(shí)戰(zhàn)項(xiàng)目，能夠更加全面的掌握大數(shù)據(jù)需求解決方案，全流程參與項(xiàng)目打造，短時(shí)間提高學(xué)生的實(shí)戰(zhàn)水平，對(duì)各個(gè)常用框架加強(qiáng)認(rèn)知，迅速累積實(shí)戰(zhàn)經(jīng)驗(yàn)
課程設(shè)計(jì)特色

本階段課程進(jìn)入進(jìn)階階段，主要講解核心大數(shù)據(jù)框架Spark和HBase，對(duì)兩大框架進(jìn)行了深入講解，包括兩大框架的基本安裝部署以及深入源碼解讀。此外，本階段還包含三大項(xiàng)目——離線數(shù)據(jù)倉(cāng)庫(kù)項(xiàng)目、用戶畫像項(xiàng)目和項(xiàng)目實(shí)戰(zhàn)。前兩大項(xiàng)目均采用新架構(gòu)體系，穩(wěn)定的框架選型、經(jīng)典的理論解讀，手把手教你如何從0到1

搭建一個(gè)功能完善的大數(shù)據(jù)系統(tǒng)。內(nèi)容涵蓋大部分大數(shù)據(jù)經(jīng)典流行框架、大部分經(jīng)典需求實(shí)現(xiàn)，并配合企業(yè)級(jí)部署調(diào)優(yōu)講解，助力學(xué)員迅速增長(zhǎng)開(kāi)發(fā)經(jīng)驗(yàn)，適配大部分企業(yè)的大數(shù)據(jù)開(kāi)發(fā)需求。項(xiàng)目實(shí)戰(zhàn)主要鍛煉學(xué)生動(dòng)手實(shí)戰(zhàn)能力，根據(jù)前兩個(gè)項(xiàng)目所學(xué)，自己獨(dú)立按照企業(yè)需求完成開(kāi)發(fā)任務(wù)。

關(guān)鍵技術(shù)清單
  • Spark
    • 安裝部署、RDD概述、編程模型、持久化&檢查點(diǎn)機(jī)制、DAG、算子詳解
    • RDD編程進(jìn)階、累加器&廣播變量、SparkSQL、DataFrame 、DataSet
    • 自定義UDF&UDAF函數(shù)、SparkSQL企業(yè)級(jí)調(diào)優(yōu)、數(shù)據(jù)傾斜處理、小文件處理、大表join大表
    • 大小表MapJoin、謂詞下推、CPU配置、內(nèi)存配置等
  • Presto
    • Presto的安裝部署
    • 使用Presto執(zhí)行數(shù)倉(cāng)項(xiàng)目的即席查詢模塊
  • Superset
    • 使用SuperSet對(duì)數(shù)倉(cāng)項(xiàng)目的計(jì)算結(jié)果進(jìn)行可視化展示
  • DolphinScheduler
    • 任務(wù)調(diào)度工具DolphinScheduler的安裝部署
    • 實(shí)現(xiàn)數(shù)倉(cāng)項(xiàng)目任務(wù)的自動(dòng)化調(diào)度、配置郵件報(bào)警
  • DataX
    • DataX架構(gòu)原理、DataX部署、DataX使用、DataX優(yōu)化
  • Atlas2.0
    • 元數(shù)據(jù)管理工具Atlas的安裝部署
  • MaxWell
    • 使用MaxWell實(shí)時(shí)監(jiān)控MySQL數(shù)據(jù)變化采集至實(shí)時(shí)項(xiàng)目
  • Zabbix
    • 集群監(jiān)控工具Zabbix的安裝部署
  • HBase
    • HBase原理及架構(gòu)、數(shù)據(jù)讀寫流程、API使用、企業(yè)級(jí)調(diào)優(yōu)
  • Redis
    • 安裝配置、Redis的五大數(shù)據(jù)類型、Jedis、持久化、RDB、AOF
階段四 Flink生態(tài)體系架構(gòu) 點(diǎn)擊展開(kāi)
核心技能
  • 1熟練掌握Flink的基本架構(gòu)以及流式數(shù)據(jù)處理思想，熟練使用Flink多種Soure、Sink處理數(shù)據(jù)，熟練使用基本API、Window API 、狀態(tài)函數(shù)、Flink SQL、Flink CEP復(fù)雜事件處理等
  • 2使用Flink搭建實(shí)時(shí)數(shù)倉(cāng)項(xiàng)目，熟練使用Flink框架分析計(jì)算各種指標(biāo)
  • 3ClickHouse安裝、使用及調(diào)優(yōu)
  • 4項(xiàng)目實(shí)戰(zhàn)。貼近大數(shù)據(jù)的實(shí)際處理場(chǎng)景，多維度設(shè)計(jì)實(shí)戰(zhàn)項(xiàng)目，能夠更廣泛的掌握大數(shù)據(jù)需求解決方案，全流程參與項(xiàng)目打造，短時(shí)間提高學(xué)生的實(shí)戰(zhàn)水平，對(duì)各個(gè)常用框架加強(qiáng)認(rèn)知，迅速累積實(shí)戰(zhàn)經(jīng)驗(yàn)
  • 5可選掌握推薦和機(jī)器學(xué)習(xí)項(xiàng)目，熟悉并使用系統(tǒng)過(guò)濾算法以及基于內(nèi)容的推薦算法等
  • 6采用阿里云平臺(tái)全套大數(shù)據(jù)產(chǎn)品重構(gòu)電商項(xiàng)目，熟悉離線數(shù)倉(cāng)、實(shí)時(shí)指標(biāo)的阿里云解決方案
課程設(shè)計(jì)特色

本階段課程以大數(shù)據(jù)處理框架Flink為中心，從架構(gòu)講起，詳細(xì)講解了各種層面API的使用，并對(duì)Flink的高級(jí)應(yīng)用場(chǎng)景進(jìn)行了案例化講解，還配備了詳細(xì)的源碼解讀和優(yōu)化技巧。 本階段還圍繞Flink講解了大數(shù)據(jù)領(lǐng)域另一個(gè)十分重要的項(xiàng)目——Flink實(shí)時(shí)數(shù)據(jù)倉(cāng)庫(kù)項(xiàng)目。本項(xiàng)目與離線數(shù)倉(cāng)項(xiàng)目可以無(wú)縫對(duì)接，兩大項(xiàng)目共同組成一個(gè)完整的企業(yè)級(jí)大數(shù)據(jù)架構(gòu)。課程中包含深入全面的數(shù)倉(cāng)理論講解、實(shí)用高效的實(shí)時(shí)問(wèn)題解決方案。通過(guò)學(xué)習(xí)本項(xiàng)目，可以迅速掌握實(shí)時(shí)開(kāi)發(fā)的重點(diǎn)難點(diǎn)，掌握多種實(shí)時(shí)難點(diǎn)問(wèn)題解決方案，對(duì)實(shí)時(shí)領(lǐng)域框架的搭配應(yīng)用融會(huì)貫通，提升開(kāi)發(fā)和調(diào)

優(yōu)經(jīng)驗(yàn)。本階段還配備項(xiàng)目實(shí)戰(zhàn)階段，主要鍛煉學(xué)生動(dòng)手實(shí)戰(zhàn)能力，根據(jù)已學(xué)內(nèi)容，在講師指導(dǎo)下獨(dú)立完成開(kāi)發(fā)任務(wù)。 此外，本階段課程還將講解時(shí)下流行的熱點(diǎn)問(wèn)題項(xiàng)目，數(shù)據(jù)湖 or K8S or 技術(shù)中臺(tái)，成熟的技術(shù)課程可以使學(xué)員更全面了解大數(shù)據(jù)的發(fā)展趨勢(shì)，掌握更多更熱門的大數(shù)據(jù)技術(shù)，例如Hudi、K8S、數(shù)據(jù)治理等。 本階段包含企業(yè)級(jí)的項(xiàng)目調(diào)優(yōu)課程，通過(guò)搭建一個(gè)企業(yè)級(jí)的大數(shù)據(jù)集群，對(duì)項(xiàng)目中可能發(fā)生的高頻熱點(diǎn)問(wèn)題、面試常見(jiàn)問(wèn)題給出多角度解答，問(wèn)題多、范圍廣、覆蓋全，有助學(xué)員提升開(kāi)發(fā)經(jīng)驗(yàn)，熟悉開(kāi)發(fā)環(huán)境。

關(guān)鍵技術(shù)清單
  • Flink
    • 運(yùn)行時(shí)架構(gòu)、數(shù)據(jù)源Source、Window API、Water Mark、狀態(tài)編程、Flink SQL
    • Table API、CEP復(fù)雜事件處理、Flink源碼、Flink優(yōu)化
  • ClickHouse
    • ClickHouse安裝、使用及調(diào)優(yōu)
  • SugarBI
    • 結(jié)合Springboot對(duì)接百度SugarBI實(shí)現(xiàn)數(shù)據(jù)可視化大屏展示
  • Doris
    • Doris編譯域安裝、集群擴(kuò)容和縮容、數(shù)據(jù)劃分、數(shù)據(jù)模型
    • 動(dòng)態(tài)分區(qū)、Rollup、物化視圖、表的創(chuàng)建修改和刪除、數(shù)據(jù)導(dǎo)入導(dǎo)出
    • 查詢?cè)O(shè)置、Join查詢、集成Spark、集成Flink、企業(yè)級(jí)優(yōu)化、數(shù)據(jù)備份和恢復(fù)
  • Hudi
    • Hudi快速構(gòu)建、集成Spark、集成Flink、生產(chǎn)調(diào)優(yōu)
  • Iceberg
    • Iceberg構(gòu)建、集成Spark、集成Flink、生產(chǎn)調(diào)優(yōu)
  • K8S
    • 集群搭建、YAML文件詳解、命令行工具Kubectl、Pod、Label
    • Controller、Volume、PVC和PV、Secret、configMap、Namespace
    • Service、探針、調(diào)度器、集群安全機(jī)制RBAC、性能監(jiān)控平臺(tái)、Helm
  • Git&GitHub
    • 安裝配置、本地庫(kù)搭建、基本操作、工作流、集中式
  • Springboot
    • 利用Springboot開(kāi)發(fā)可視化接口程序
階段五 AI輔助編程階段 點(diǎn)擊展開(kāi)
核心技能
  • 1了解AI智能問(wèn)答系統(tǒng)的基本使用
  • 2掌握AI輔助代碼編寫的提問(wèn)技巧
  • 3掌握AI輔助解決bug的基本技能
  • 4充分利用AI輔助提升開(kāi)發(fā)效率
課程設(shè)計(jì)特色

本階段的課程主要對(duì)AI智能問(wèn)答系統(tǒng)進(jìn)行重點(diǎn)講解，從AI的使用常識(shí)開(kāi)始，逐步了解AI的使用技巧和提問(wèn)藝術(shù)，幫助學(xué)員熟練掌握當(dāng)前先進(jìn)的人工智能輔助開(kāi)發(fā)技術(shù)。針對(duì)不同的框架技術(shù)，例如Hadoop、Hive、Spark、Flink等大數(shù)據(jù)熱門框

架技術(shù)，對(duì)如何利用AI輔助編寫代碼都有針對(duì)性講解。在實(shí)戰(zhàn)項(xiàng)目方面，對(duì)于不同的大數(shù)據(jù)項(xiàng)目，也細(xì)致講解如何利用AI輔助項(xiàng)目開(kāi)發(fā)、性能調(diào)優(yōu)等。通過(guò)本階段的學(xué)習(xí)，可以讓學(xué)員充分掌握AI的使用，大大提高開(kāi)發(fā)效率、提升經(jīng)驗(yàn)、減少錯(cuò)誤。

關(guān)鍵技術(shù)清單
  • Shell編程
    • A輔助編寫Shell腳本
  • Hadoop
    • AI輔助編寫MapReduce程序、解決Bug
  • Hive
    • AI輔助編寫Hive SQL，輔助進(jìn)行SQL性能調(diào)優(yōu)
  • Flume
    • AI輔助組件選擇和工作流腳本編寫
  • Kafka
    • AI輔助解決Bug和性能調(diào)優(yōu)
  • Spark
    • AI輔助編寫Spark開(kāi)發(fā)代碼、編寫Spark SQL、解決Bug、性能調(diào)優(yōu)
  • DataX
    • AI輔助編寫工作流腳本
  • Flink
    • AI輔助編寫需求代碼、解決代碼Bug
  • ClickHouse
    • AI輔助性能調(diào)優(yōu)
  • 數(shù)據(jù)倉(cāng)庫(kù)采集系統(tǒng)實(shí)戰(zhàn)
    • AI輔助項(xiàng)目集群搭建、分析數(shù)據(jù)結(jié)構(gòu)、Flume組件選型、Kafka配置調(diào)優(yōu)等
  • 離線數(shù)據(jù)倉(cāng)庫(kù)項(xiàng)目實(shí)戰(zhàn)
    • AI輔助數(shù)據(jù)倉(cāng)庫(kù)建模、Hive SQL調(diào)優(yōu)、調(diào)度腳本編寫、指標(biāo)體系構(gòu)建、可視化接口編寫
  • 實(shí)時(shí)數(shù)據(jù)倉(cāng)庫(kù)項(xiàng)目實(shí)戰(zhàn)
    • AI輔助編寫需求代碼、輔助解決Bug、性能調(diào)優(yōu)、需求解決方案優(yōu)化等
階段六 就業(yè)指導(dǎo) 點(diǎn)擊展開(kāi)
核心技能
  • 1從技術(shù)和項(xiàng)目?jī)蓚€(gè)角度按照企業(yè)面試要求帶領(lǐng)同學(xué)們復(fù)習(xí)
  • 2熟悉CDH在生產(chǎn)環(huán)境中的使用
  • 3手把手簡(jiǎn)歷指導(dǎo)，讓同學(xué)們順利通過(guò)簡(jiǎn)歷篩選
課程設(shè)計(jì)特色

本階段課程主要圍繞學(xué)員的就業(yè)需求，在真正就業(yè)前，幫助學(xué)員多維度復(fù)習(xí)鞏固所學(xué)知識(shí)和項(xiàng)目，串講經(jīng)典高頻面試題，傳授面試答題技巧，總結(jié)項(xiàng)目開(kāi)發(fā)經(jīng)驗(yàn)，手

把手簡(jiǎn)歷指導(dǎo)，解決學(xué)員在就業(yè)過(guò)程中遇到的各種難題。通過(guò)AI輔助，重構(gòu)優(yōu)化簡(jiǎn)歷，優(yōu)化面試技巧，以及利用AI輔助學(xué)員自助面試，全面提升學(xué)員的綜合能力。

關(guān)鍵技術(shù)清單
  • 面試題+考試
    • 串講所學(xué)的所有技術(shù)點(diǎn)，如Hadoop、Hive、Kafka、Spark、Flink等技術(shù)框架高頻面試題
    • 串講所有學(xué)過(guò)的項(xiàng)目
    • 對(duì)所有串講的過(guò)的面試題和項(xiàng)目進(jìn)行考試
  • CDH
    • 在阿里云服務(wù)器上，基于CDH安裝部署全部離線數(shù)據(jù)倉(cāng)庫(kù)項(xiàng)目
  • 就業(yè)指導(dǎo)
    • 簡(jiǎn)歷指導(dǎo)、職業(yè)規(guī)劃、AI輔助優(yōu)化簡(jiǎn)歷
    • 簡(jiǎn)歷書寫（Word、網(wǎng)上）
    • 模擬面試、AI輔助模擬面試、AI輔助筆試

職業(yè)選擇口徑寬

大數(shù)據(jù)測(cè)試
工程師 實(shí)時(shí)數(shù)倉(cāng)
工程師 資深架構(gòu)師 高級(jí)架構(gòu)師 數(shù)據(jù)開(kāi)發(fā)
工程師 Hadoop
工程師 平臺(tái)開(kāi)發(fā)
工程師 AI提示
工程師 數(shù)據(jù)架構(gòu)師 CTO 建模工程師 用戶畫像
工程師 ETL工程師 Spark
工程師 Flink
工程師 大數(shù)據(jù)運(yùn)維
工程師 數(shù)據(jù)治理
工程師 離線數(shù)倉(cāng)
工程師 數(shù)據(jù)分析
工程師

全程護(hù)航，你們只管乘風(fēng)破浪

從入學(xué)到就業(yè)后，尚硅谷始終在你身邊，助力學(xué)員整個(gè)職業(yè)生涯持續(xù)提升！一站式服務(wù)模式，用更高的效率，
更科學(xué)化的方法，提供長(zhǎng)期就業(yè)輔導(dǎo)、推薦和技術(shù)支持

  • 大數(shù)據(jù)培訓(xùn)

    不同于目前培訓(xùn)機(jī)構(gòu)普遍采用的測(cè)試方式，我們對(duì)基礎(chǔ)沒(méi)有硬性要求，我們不會(huì)用提高技術(shù)門檻的方法來(lái)降低自己培訓(xùn)壓力與風(fēng)險(xiǎn)，只要你是有志青年、 有學(xué)習(xí)潛力、熱愛(ài)編程，尚硅谷就愿意為你提供學(xué)習(xí)平臺(tái)，助你成才。

  • 根據(jù)每個(gè)學(xué)員具體情況制定預(yù)習(xí)方案，幫你提前進(jìn)入狀態(tài)。

  • 大數(shù)據(jù)培訓(xùn)課程

    技術(shù)老師、輔導(dǎo)老師、班主任全程貫穿
    技術(shù)學(xué)習(xí)+項(xiàng)目實(shí)戰(zhàn)+學(xué)習(xí)效果測(cè)評(píng)+輔導(dǎo)答疑+生活幫助

  • 就業(yè)老師1v1面試指導(dǎo)
    職業(yè)素養(yǎng)課+簡(jiǎn)歷指導(dǎo)+模擬面試+面試

  • 大數(shù)據(jù)培訓(xùn)班

    畢業(yè)后仍可按需學(xué)習(xí)，免費(fèi)充電，持續(xù)提升

  • 扶上馬，再送一程，幫助學(xué)員解決工作中的問(wèn)題。

全國(guó)中心

北京基地
北京大數(shù)據(jù)培訓(xùn)
上?；?/h5>

上海大數(shù)據(jù)培訓(xùn)
深圳基地
深圳大數(shù)據(jù)培訓(xùn)
武漢基地
武漢java培訓(xùn)

西安基地
西安java培訓(xùn)
成都基地
成都java培訓(xùn)