重塑大數(shù)據(jù)課程新范式

尚硅谷與騰訊云、Apache等技術(shù)企業(yè)深度合作
打造AI時(shí)代的新型大數(shù)據(jù)課程

“尚硅谷一直以高質(zhì)量的教學(xué)內(nèi)容在技術(shù)圈廣為傳播, 并且積極擁抱當(dāng)前火熱的技術(shù), 對開源保持密切關(guān)注和支持，深受廣大開發(fā)者喜愛！ 騰訊云彈性MapReduce(EMR)是云上開源、開放的、云原生的大數(shù)據(jù)基礎(chǔ)分析產(chǎn)品，旨在助力企業(yè)客戶在云上方便、快捷以低成本的方式構(gòu)建云上大數(shù)據(jù)分析基礎(chǔ)平臺、EMR在開源的基礎(chǔ)上解決了安全、組件穩(wěn)定、兼容問題的同時(shí)提供了開源軟件駕駛艙的能力，以便企業(yè)客戶更好地在云上使用開源大數(shù)據(jù)組件并協(xié)助開源社區(qū)健康發(fā)展?！?

——騰訊云大數(shù)據(jù)EMR研發(fā)負(fù)責(zé)人 陳龍

“作為全球數(shù)據(jù)庫和大數(shù)據(jù)領(lǐng)域最為活躍的開源項(xiàng)目之一，Apache Doris 已受到了越來越多用戶和開發(fā)者的關(guān)注。尚硅谷出品的 Doris 系列課程對于想深度了解 Apache Doris 的大數(shù)據(jù)工程師而言無疑是個福音，由淺入深，詳盡剖析了系統(tǒng)原理，并且理論結(jié)合實(shí)踐、從實(shí)際項(xiàng)目的角度幫助大家可以更好掌握 Apache Doris 使用技巧。期待未來有更多工程師在尚硅谷課程的幫助下，幫助國人打造的優(yōu)秀開源項(xiàng)目在全球舞臺繼續(xù)發(fā)光發(fā)熱！”

——Apache Doris PMC 張家鋒

“尚硅谷的教學(xué)視頻讓許多學(xué)習(xí)者能夠快速地了解和掌握開源項(xiàng)目的整體框架。你們的努力為開源社區(qū)的發(fā)展和壯大奠定了基礎(chǔ)，讓更多的人能夠在開源世界中成長和進(jìn)步?！?

——Apache Seatunnel PMC 、Apache DolphinScheduler PMC、白鯨開源COO 聶勵峰

“尚硅谷一直以高質(zhì)量的教學(xué)內(nèi)容在技術(shù)圈廣為傳播, 并且積極擁抱當(dāng)前火熱的技術(shù), 對開源保持密切關(guān)注和支持，深受廣大開發(fā)者喜愛！Apache StreamPark 是一個流計(jì)算開發(fā)管理平臺, 旨在讓流處理更簡單, 社區(qū)發(fā)展日漸壯大，有著廣泛的用戶群體, 非常期待和尚硅谷再次合作, 共同打造高質(zhì)量的課程, 讓企業(yè)和開發(fā)者們受益?！?

——Founder of Apache StreamPark 王華杰

“尚硅谷的課程不僅幫助各行業(yè)的開發(fā)人員快速學(xué)習(xí)并掌握核心技術(shù)，也同時(shí)為各開源項(xiàng)目提供手把手教學(xué)視頻，使用戶可以快速上手并在生產(chǎn)環(huán)境應(yīng)用，推動了開源社區(qū)的發(fā)展，并讓天下再無難學(xué)的技術(shù)。”

——Dinky PMC 亓文凱

課程優(yōu)勢

  • 引入AI

    本課程全面引入AI輔助開發(fā)技巧詳解，貫穿項(xiàng)目實(shí)戰(zhàn)到技術(shù)學(xué)習(xí)各階段。探索教育黑科技，永遠(yuǎn)追求行業(yè)更高標(biāo)準(zhǔn)。大數(shù)據(jù)乘上AI的翅膀，飛往更遼闊的遠(yuǎn)方!

  • 雄厚師資

    專職講師全程面授，多家企業(yè)領(lǐng)域技術(shù)大牛不定期分享自己的實(shí)操經(jīng)驗(yàn)，讓你成為一個技術(shù)基礎(chǔ)扎實(shí)，且與市場需求實(shí)時(shí)匹配的實(shí)力派。

  • 全程實(shí)戰(zhàn)

    行業(yè)模板拿來即用，涉及醫(yī)療衛(wèi)生、公共服務(wù)、金融等十?dāng)?shù)個產(chǎn)業(yè)，70+技術(shù)解決方案，100+關(guān)鍵技術(shù)指標(biāo)，助你成為能解決企業(yè)實(shí)際問題的硬核人才。

  • 就業(yè)服務(wù)

    求職期手把手簡歷指導(dǎo)，傳授面試答題技巧，總結(jié)項(xiàng)目開發(fā)經(jīng)驗(yàn)；入職后隨時(shí)技術(shù)支援，做好傳、幫、帶，為學(xué)員發(fā)展持續(xù)提供源動力。

項(xiàng)目實(shí)戰(zhàn)

學(xué)企業(yè)真實(shí)項(xiàng)目真流程
掌握讓AI落地的真本領(lǐng)

租房 醫(yī)藥 銀行 服務(wù) 健康 智慧
交通 物流 廣告 直播 電商 保險(xiǎn) 政務(wù) 供應(yīng)鏈 音視頻 區(qū)塊鏈 在線
教育 地產(chǎn) 能源 餐飲 軍工 游戲 人工
智能 車聯(lián)網(wǎng) 金融

18個硅谷實(shí)戰(zhàn)項(xiàng)目，大數(shù)據(jù)企業(yè)項(xiàng)目直接為學(xué)員所用

  • 電商離線數(shù)倉
  • 電商Flink實(shí)時(shí)數(shù)倉
  • 在線教育
  • 在線聽書
  • 新能源汽車
  • 廣告營銷
  • 金融審批
  • 醫(yī)療問診
  • 騰訊云EMR物流
  • 阿里云MaxCompute
  • 湖倉一體
  • 技術(shù)中臺
  • 用戶畫像
  • 推薦系統(tǒng)
  • Spark實(shí)時(shí)
  • 彩票項(xiàng)目
  • 保險(xiǎn)項(xiàng)目
  • 統(tǒng)一數(shù)倉項(xiàng)目
項(xiàng)目特色

依托國內(nèi)電商巨頭的實(shí)際業(yè)務(wù)場景，引入海量的真實(shí)點(diǎn)擊數(shù)據(jù)和業(yè)務(wù)數(shù)據(jù)，緊跟大數(shù)據(jù)主流技術(shù)需求，配備AI輔助開發(fā)技巧詳解，擁有豐富的數(shù)據(jù)倉庫功能模塊。

學(xué)習(xí)目標(biāo)
  • 全面了解數(shù)據(jù)倉庫建模理論
  • 充分熟悉電商行業(yè)數(shù)據(jù)分析指標(biāo)體系
  • 快速掌握多種大數(shù)據(jù)技術(shù)框架
  • 了解認(rèn)識多種數(shù)據(jù)倉庫技術(shù)模塊、掌握AI輔助開發(fā)技巧
主要技術(shù)棧
Hadoop Flume DataX Maxwell Kafka Spark DolphinScheduler SpringBoot Echart SuperSet Kylin Presto Ranger
項(xiàng)目特色

參考眾多大廠的實(shí)時(shí)數(shù)倉項(xiàng)目的經(jīng)典架構(gòu)研發(fā)推出，采用當(dāng)前主流的實(shí)時(shí)數(shù)據(jù)流處理框架Flink作為主要計(jì)算引擎，涉及多種實(shí)時(shí)計(jì)算關(guān)鍵技術(shù)，新增AI輔助開發(fā)技巧的講解，全面滿足企業(yè)對實(shí)時(shí)開發(fā)的要求。

學(xué)習(xí)目標(biāo)
  • 了解實(shí)時(shí)數(shù)據(jù)倉庫的建模理論
  • 靈活應(yīng)用Flink的流式計(jì)算技術(shù)，多種技術(shù)框架協(xié)調(diào)配合
  • 靈活應(yīng)用AI，提升開發(fā)效率
  • 優(yōu)化項(xiàng)目代碼，融匯貫通整個大數(shù)據(jù)開發(fā)的關(guān)鍵技術(shù)
主要技術(shù)棧
Flume Maxwell Kafka Flink HBase Phoenix Redis ClickHouse SpringBoot SugarBI
項(xiàng)目特色

基于在線教育行業(yè)的實(shí)際業(yè)務(wù)場景，引入海量的真實(shí)點(diǎn)擊數(shù)據(jù)和業(yè)務(wù)數(shù)據(jù)，緊跟大數(shù)據(jù)的主流技術(shù)需求，穿插AI輔助開發(fā)技巧講解，搭建了一整套完整的離線數(shù)據(jù)倉庫和實(shí)時(shí)數(shù)據(jù)倉庫。

學(xué)習(xí)目標(biāo)
  • 充分了解在線教育行業(yè)的業(yè)務(wù)數(shù)據(jù)體系，熟悉在線教育行業(yè)的離線指標(biāo)體系
  • 熟悉在線教育行業(yè)的實(shí)時(shí)指標(biāo)體系，充分掌握多種大數(shù)據(jù)技術(shù)框架的協(xié)調(diào)應(yīng)用，充分掌握AI輔助開發(fā)技巧
主要技術(shù)棧
Hadoop Flume DataX Maxwell Kafka Spark DolphinScheduler SpringBoot Echarts SuperSet Kylin Presto Ranger Flink HBase Phoenix Redis Doris SugarBI
項(xiàng)目特色

涵蓋了大數(shù)據(jù)的數(shù)倉建模理論、數(shù)據(jù)處理技術(shù)手段和大數(shù)據(jù)平臺搭建方法，依托真實(shí)在線聽書行業(yè)的實(shí)際業(yè)務(wù)場景，展示全面的離線與實(shí)時(shí)的指標(biāo)體系，配備AI輔助開發(fā)技巧詳解。

學(xué)習(xí)目標(biāo)
  • 充分了解在線聽書行業(yè)的業(yè)務(wù)數(shù)據(jù)體系，熟悉在線聽書行業(yè)的離線指標(biāo)體系
  • 熟悉在線聽書行業(yè)的實(shí)時(shí)指標(biāo)體系，充分掌握多種大數(shù)據(jù)技術(shù)框架的協(xié)調(diào)應(yīng)用，充分掌握AI輔助開發(fā)技巧
主要技術(shù)棧
Hadoop Flume Kafka Maxwell DataX Hive Spark Flink SugarBI ClickHouse Redis HBase Phoenix DolphinScheduler
項(xiàng)目特色

站在汽車物聯(lián)網(wǎng)數(shù)據(jù)倉庫的技術(shù)前列，依托真實(shí)汽車傳感器數(shù)據(jù)，展示完整的離線指標(biāo)體系，搭建功能完善的離線數(shù)據(jù)倉庫，熟練應(yīng)用大數(shù)據(jù)技術(shù)框架。

學(xué)習(xí)目標(biāo)
  • 充分了解汽車物聯(lián)網(wǎng)行業(yè)的業(yè)務(wù)數(shù)據(jù)體系
  • 熟悉汽車物聯(lián)網(wǎng)行業(yè)的離線指標(biāo)體系
  • 充分掌握多種大數(shù)據(jù)技術(shù)框架的協(xié)調(diào)應(yīng)用
  • 掌握AI輔助開發(fā)技巧
主要技術(shù)棧
Hadoop Flume Kafka Maxwell DataX Hive Spark DolphinScheduler
項(xiàng)目特色

依托真實(shí)廣告行業(yè)的實(shí)際業(yè)務(wù)場景，透徹講解互聯(lián)網(wǎng)廣告發(fā)展歷程和廣告完整運(yùn)營流程，展示全面的廣告指標(biāo)體系，學(xué)習(xí)數(shù)據(jù)分析工具，配備AI輔助開發(fā)技巧詳解。

學(xué)習(xí)目標(biāo)
  • 全面了解數(shù)據(jù)倉庫建模理論
  • 充分熟悉廣告行業(yè)運(yùn)營流程、專業(yè)術(shù)語和數(shù)據(jù)分析指標(biāo)體系
  • 徹底掌握多種大數(shù)據(jù)技術(shù)框架
  • 掌握AI輔助開發(fā)技巧
主要技術(shù)棧
Hadoop Flume DataX Kafka Hive Spark DolphinScheduler ClickHouse FineBI
項(xiàng)目特色

依托真實(shí)的金融審批行業(yè)的海量業(yè)務(wù)數(shù)據(jù)，構(gòu)建離線數(shù)據(jù)倉庫，依據(jù)數(shù)倉建模理論完成數(shù)據(jù)的存儲、分析與調(diào)取，分析實(shí)現(xiàn)整套金融審批指標(biāo)體系，構(gòu)建指標(biāo)分析儀表盤。

學(xué)習(xí)目標(biāo)
  • 充分了解金融審批行業(yè)的業(yè)務(wù)數(shù)據(jù)體系
  • 熟悉金融審批行業(yè)的離線指標(biāo)體系
  • 充分掌握多種大數(shù)據(jù)技術(shù)框架的協(xié)調(diào)應(yīng)用
  • 掌握AI輔助開發(fā)技巧
主要技術(shù)棧
Hadoop Flume Kafka Maxwell DataX Hive Spark DolphinScheduler SuperSet
項(xiàng)目特色

依托真實(shí)的醫(yī)療問診行業(yè)的海量業(yè)務(wù)數(shù)據(jù)，構(gòu)建離線數(shù)據(jù)倉庫，依據(jù)數(shù)倉建模理論完成數(shù)據(jù)的存儲、分析與調(diào)取，分析實(shí)現(xiàn)整套醫(yī)療問診指標(biāo)體系，構(gòu)建指標(biāo)分析儀表盤。

學(xué)習(xí)目標(biāo)
  • 充分了解醫(yī)療問診行業(yè)的業(yè)務(wù)數(shù)據(jù)體系
  • 熟悉醫(yī)療問診行業(yè)的離線指標(biāo)體系
  • 充分掌握多種大數(shù)據(jù)技術(shù)框架的協(xié)調(diào)應(yīng)用
  • 掌握AI輔助開發(fā)技巧
主要技術(shù)棧
Hadoop Flume Kafka Maxwell DataX Hive Spark DolphinScheduler SuperSet
項(xiàng)目特色

依托物流行業(yè)的真實(shí)業(yè)務(wù)場景，基于目前各大互聯(lián)網(wǎng)企業(yè)對于騰訊云EMR架構(gòu)體系的需求，將整個電商的數(shù)據(jù)倉庫體系搭建在騰訊云架構(gòu)上。課程中穿插對AI輔助開發(fā)技巧詳細(xì)講解，令A(yù)I真正賦能大數(shù)據(jù)開發(fā)。

學(xué)習(xí)目標(biāo)
  • 掌握騰訊云常用大數(shù)據(jù)技術(shù)框架的使用、選型和購買
  • 掌握基于騰訊云EMR進(jìn)行離線數(shù)據(jù)倉庫和利用EMR進(jìn)行實(shí)時(shí)數(shù)據(jù)倉庫的搭建
  • 充分掌握AI輔助開發(fā)技巧
主要技術(shù)棧
騰訊云EMR中的Hive Spark Hadoop Flink Flume Kafka
項(xiàng)目特色

依托國內(nèi)電商巨頭的真實(shí)業(yè)務(wù)場景，基于目前各大互聯(lián)網(wǎng)企業(yè)對于阿里云架構(gòu)體系的需求，將整個電商的數(shù)據(jù)倉庫體系搭建在阿里云架構(gòu)上，做到全項(xiàng)目全流程上云。

學(xué)習(xí)目標(biāo)
  • 掌握阿里云常用大數(shù)據(jù)技術(shù)框架
  • 掌握基于阿里云服務(wù)器進(jìn)行離線數(shù)據(jù)倉庫和實(shí)時(shí)數(shù)據(jù)倉庫的搭建
主要技術(shù)棧
Flume RDS DataHub DataWorks DataV QuickBI Flink MaxCompute
項(xiàng)目特色

該項(xiàng)目是一個完整可落地的湖倉一體項(xiàng)目，依托真實(shí)電商行業(yè)的海量數(shù)據(jù)集，充分利用Hudi，將數(shù)據(jù)湖概念與數(shù)倉建模理論融匯貫通，將Hudi與其他主要大數(shù)據(jù)框架充分集成。

學(xué)習(xí)目標(biāo)
  • 充分了解數(shù)據(jù)湖與數(shù)據(jù)倉庫的概念區(qū)別
  • 熟悉數(shù)據(jù)湖的構(gòu)建開發(fā)流程
  • 充分掌握Hudi與多種大數(shù)據(jù)框架的協(xié)調(diào)應(yīng)用
主要技術(shù)棧
Flink Hudi Hadoop Flume Kafka FlinkCDC Hive Superset
項(xiàng)目特色

一站式搞定數(shù)據(jù)治理、血緣管理、元數(shù)據(jù)管理、數(shù)據(jù)質(zhì)量監(jiān)控、批處理和實(shí)時(shí)處理的可視化調(diào)度、可視化即席查詢、可視化數(shù)據(jù)采集配置。

學(xué)習(xí)目標(biāo)
  • 掌握技術(shù)中臺中的核心功能開發(fā)原理
  • 掌握大數(shù)據(jù)、JavaEE和前端技術(shù)的融合
主要技術(shù)棧
SpringBoot Vue ClickHouse Presto Spark Hive Flink DolphinScheduler
項(xiàng)目特色

著眼于用數(shù)字化的標(biāo)簽描述用戶個性特征、勾畫目標(biāo)用戶，實(shí)現(xiàn)了從標(biāo)簽定義、標(biāo)簽任務(wù)處理、任務(wù)調(diào)度、任務(wù)監(jiān)控、用戶分區(qū)、用戶洞察的全功能平臺化管理。

學(xué)習(xí)目標(biāo)
  • 充分理解用戶畫像管理平臺的搭建及使用
  • 了解用戶畫像系統(tǒng)的設(shè)計(jì)思路
  • 掌握標(biāo)簽的設(shè)計(jì)流程及應(yīng)用
  • 初步了解機(jī)器學(xué)習(xí)算法
主要技術(shù)棧
Spark MLib ClickHouse Redis Vue SpringBoot MyBatis
項(xiàng)目特色

依托于真實(shí)的中文亞馬遜電商數(shù)據(jù)集，以及真實(shí)的電商企業(yè)業(yè)務(wù)數(shù)據(jù)體系，構(gòu)建了符合教學(xué)體系的一體化電商推薦系統(tǒng)，充分理解推薦系統(tǒng)的運(yùn)作流程，拓寬技術(shù)視野。

學(xué)習(xí)目標(biāo)
  • 系統(tǒng)性梳理整合大數(shù)據(jù)技術(shù)知識與機(jī)器學(xué)習(xí)相關(guān)知識
  • 深入了解推薦系統(tǒng)在電商企業(yè)中的實(shí)際應(yīng)用
  • 深入學(xué)習(xí)并掌握多種推薦算法
主要技術(shù)棧
Flume Kafka MongoDB Spark Streaming ElasticSearch Git Redis
項(xiàng)目特色

依托企業(yè)級真實(shí)的實(shí)時(shí)數(shù)據(jù)分析環(huán)境，對目前互聯(lián)網(wǎng)大廠中常見的實(shí)時(shí)分析場景提出了一套基于SparkStreaming的全面實(shí)用的技術(shù)解決方案，豐富實(shí)時(shí)技術(shù)棧。

學(xué)習(xí)目標(biāo)
  • 全面掌握Scala語言開發(fā)Spark的實(shí)時(shí)計(jì)算任務(wù)的開發(fā)技巧
  • 了解使用不同的CDC框架，提升實(shí)時(shí)方向的項(xiàng)目開發(fā)經(jīng)驗(yàn)
主要技術(shù)棧
Flume Canal Maxwell Kafka SparkStreaming HBase Phoenix Redis ElasticSearch Kibana SpringBoot SugarBI
項(xiàng)目特色

依托真實(shí)的彩票行業(yè)的海量業(yè)務(wù)數(shù)據(jù)，構(gòu)建離線數(shù)據(jù)倉庫，依據(jù)數(shù)倉建模理論完成數(shù)據(jù)的存儲、分析與調(diào)取，分析實(shí)現(xiàn)整套彩票指標(biāo)體系，構(gòu)建指標(biāo)分析儀表盤。

學(xué)習(xí)目標(biāo)
  • 充分了解彩票行業(yè)的業(yè)務(wù)數(shù)據(jù)體系
  • 熟悉彩票行業(yè)的離線指標(biāo)體系
  • 充分掌握多種大數(shù)據(jù)技術(shù)框架的協(xié)調(diào)應(yīng)用
  • 掌握AI輔助開發(fā)技巧
主要技術(shù)棧
Hadoop Flume Kafka Maxwell DataX Hive Spark DolphinScheduler SuperSet
項(xiàng)目特色

依托真實(shí)的保險(xiǎn)行業(yè)的海量業(yè)務(wù)數(shù)據(jù)，構(gòu)建離線數(shù)據(jù)倉庫，依據(jù)數(shù)倉建模理論完成數(shù)據(jù)的存儲、分析與調(diào)取，分析實(shí)現(xiàn)整套保險(xiǎn)指標(biāo)體系，構(gòu)建指標(biāo)分析儀表盤。

學(xué)習(xí)目標(biāo)
  • 充分了解保險(xiǎn)行業(yè)的業(yè)務(wù)數(shù)據(jù)體系
  • 熟悉保險(xiǎn)行業(yè)的離線指標(biāo)體系
  • 充分掌握多種大數(shù)據(jù)技術(shù)框架的協(xié)調(diào)應(yīng)用
  • 掌握AI輔助開發(fā)技巧
主要技術(shù)棧
Hadoop Flume Kafka Maxwell DataX Hive Spark DolphinScheduler SuperSet
項(xiàng)目特色

該項(xiàng)目是一個完整可落地的統(tǒng)一數(shù)倉項(xiàng)目，依托真實(shí)電商行業(yè)的海量數(shù)據(jù)集，充分利用Doris，將Doris概念與數(shù)倉建模理論融匯貫通，將Doris與其他主要大數(shù)據(jù)框架充分集成。

學(xué)習(xí)目標(biāo)
  • 充分了解統(tǒng)一數(shù)倉與數(shù)據(jù)倉庫的區(qū)別
  • 熟悉統(tǒng)一數(shù)倉的構(gòu)建開發(fā)流程
  • 充分掌握Doris與多種大數(shù)據(jù)框架的協(xié)調(diào)應(yīng)用
主要技術(shù)棧
Flink Doris SeaTunnel DolphinScheduler FineBI

課程大綱

200+ 新技術(shù)點(diǎn)廣泛覆蓋企業(yè)需求

強(qiáng)強(qiáng)聯(lián)合！尚硅谷已與Apache多個開源項(xiàng)目形成合作：

DolphinScheduler、Hudi、Iceberg、Doris、Kylin、SeaTunnel、StreamPark

  • Flink
  • Kylin
  • Presto
  • Impala
  • Druid
  • Kudu
  • ClickHouse
  • Ambari
  • Airflow
  • Hue
  • DataX
  • Griffin
  • Kettle
  • Zabbix
  • MaxWell
  • NiFi
  • Structured Steaming
  • Tableau
  • Tidb
  • Phoenix
  • Druid
  • Filebeat
  • InfluxDB
  • Saiku
  • Sentry
  • Superset
  • Ranger
  • Atlas
  • JavaSE
  • MySQL
  • JDBC
  • Maven
  • IDEA
  • Redis
  • Git
  • Shell
  • Linux
  • Hadoop
  • Hive
  • Zookeeper
  • HBase
  • Sqoop
  • Azkaban
  • Oozie
  • JVM
  • JUC
  • Flume
  • Kafka
  • SpringBoot
  • Logstash
  • Kibanna
  • Spark Core
  • Spark SQL
  • Spark Streaming
  • ElasticSearch
  • Hudi
  • StreamPark
  • Docker
  • StreamSets
  • Iceberg
  • FlinkCDC
  • Doris
  • StarRocks
  • SeaTunnel
  • Zabbix
  • Grafana
  • ClickHouse
  • Prometheus
  • DolphinScheduler
  • Debezium
  • nmon
  • MaxCompute
  • DataHub
  • suga
  • DataV
  • QuickBI
  • DataWorks
  • Impala
  • HDFS
  • Yarn
  • MapReduce
  • FlinkSQL
  • EMR
  • Hive-on-Spark
  • Kubernetes
  • K8S
  • Spark-on-K8S
  • Flink-on-K8S
  • OGG
  • GitEE
  • JUC
  • Oracle
  • AWS
  • CDH
  • HDP
  • SqlServer
  • PostgreSQL
  • PrestoDB
  • PrestoSQL
  • Flink
  • Kylin
  • Presto
  • Impala
  • Druid
  • Kudu
  • ClickHouse
  • Ambari
  • Airflow
  • Hue
  • DataX
  • Griffin
  • Kettle
  • Zabbix
  • MaxWell
  • NiFi
  • Structured Steaming
  • Tableau
  • Tidb
  • Phoenix
  • Druid
  • Filebeat
  • InfluxDB
  • Saiku
  • Sentry
  • Superset
  • Ranger
  • Atlas
  • JavaSE
  • MySQL
  • JDBC
  • Maven
  • IDEA
  • Redis
  • Git
  • Shell
  • Linux
  • Hadoop
  • Hive
  • Zookeeper
  • HBase
  • Sqoop
  • Azkaban
  • Oozie
  • JVM
  • JUC
  • Flume
  • Kafka
  • SpringBoot
  • Logstash
  • Kibanna
  • Spark Core
  • Spark SQL
  • Spark Streaming
  • ElasticSearch
  • Hudi
  • StreamPark
  • Docker
  • StreamSets
  • Iceberg
  • FlinkCDC
  • Doris
  • StarRocks
  • SeaTunnel
  • Zabbix
  • Grafana
  • ClickHouse
  • Prometheus
  • DolphinScheduler
  • Debezium
  • nmon
  • MaxCompute
  • DataHub
  • suga
  • DataV
  • QuickBI
  • DataWorks
  • Impala
  • HDFS
  • Yarn
  • MapReduce
  • FlinkSQL
  • EMR
  • Hive-on-Spark
  • Kubernetes
  • K8S
  • Spark-on-K8S
  • Flink-on-K8S
  • OGG
  • GitEE
  • JUC
  • Oracle
  • AWS
  • CDH
  • HDP
  • SqlServer
  • PostgreSQL
  • PrestoDB
  • PrestoSQL
  • Flink
  • Kylin
  • Presto
  • Impala
  • Druid
  • Kudu
  • ClickHouse
  • Ambari
  • Airflow
  • Hue
  • DataX
  • Griffin
  • Kettle
  • Zabbix
  • MaxWell
  • NiFi
  • Structured Steaming
  • Tableau
  • Tidb
  • Phoenix
  • Druid
  • Filebeat
  • InfluxDB
  • Saiku
  • Sentry
  • Superset
  • Ranger
  • Atlas
  • JavaSE
  • MySQL
  • JDBC
  • Maven
  • IDEA
  • Redis
  • Git
  • Shell
  • Linux
  • Hadoop
  • Hive
  • Zookeeper
  • HBase
  • Sqoop
  • Azkaban
  • Oozie
  • JVM
  • JUC
  • Flume
  • Kafka
  • SpringBoot
  • Logstash
  • Kibanna
  • Spark Core
  • Spark SQL
  • Spark Streaming
  • ElasticSearch
  • Hudi
  • StreamPark
  • Docker
  • StreamSets
  • Iceberg
  • FlinkCDC
  • Doris
  • StarRocks
  • SeaTunnel
  • Zabbix
  • Grafana
  • ClickHouse
  • Prometheus
  • DolphinScheduler
  • Debezium
  • nmon
  • MaxCompute
  • DataHub
  • suga
  • DataV
  • QuickBI
  • DataWorks
  • Impala
  • HDFS
  • Yarn
  • MapReduce
  • FlinkSQL
  • EMR
  • Hive-on-Spark
  • Kubernetes
  • K8S
  • Spark-on-K8S
  • Flink-on-K8S
  • OGG
  • GitEE
  • JUC
  • Oracle
  • AWS
  • CDH
  • HDP
  • SqlServer
  • PostgreSQL
  • PrestoDB
  • PrestoSQL
  • Flink
  • Kylin
  • Presto
  • Impala
  • Druid
  • Kudu
  • ClickHouse
  • Ambari
  • Airflow
  • Hue
  • DataX
  • Griffin
  • Kettle
  • Zabbix
  • MaxWell
  • NiFi
  • Structured Steaming
  • Tableau
  • Tidb
  • Phoenix
  • Druid
  • Filebeat
  • InfluxDB
  • Saiku
  • Sentry
  • Superset
  • Ranger
  • Atlas
  • JavaSE
  • MySQL
  • JDBC
  • Maven
  • IDEA
  • Redis
  • Git
  • Shell
  • Linux
  • Hadoop
  • Hive
  • Zookeeper
  • HBase
  • Sqoop
  • Azkaban
  • Oozie
  • JVM
  • JUC
  • Flume
  • Kafka
  • SpringBoot
  • Logstash
  • Kibanna
  • Spark Core
  • Spark SQL
  • Spark Streaming
  • ElasticSearch
  • Hudi
  • StreamPark
  • Docker
  • StreamSets
  • Iceberg
  • FlinkCDC
  • Doris
  • StarRocks
  • SeaTunnel
  • Zabbix
  • Grafana
  • ClickHouse
  • Prometheus
  • DolphinScheduler
  • Debezium
  • nmon
  • MaxCompute
  • DataHub
  • suga
  • DataV
  • QuickBI
  • DataWorks
  • Impala
  • HDFS
  • Yarn
  • MapReduce
  • FlinkSQL
  • EMR
  • Hive-on-Spark
  • Kubernetes
  • K8S
  • Spark-on-K8S
  • Flink-on-K8S
  • OGG
  • GitEE
  • JUC
  • Oracle
  • AWS
  • CDH
  • HDP
  • SqlServer
  • PostgreSQL
  • PrestoDB
  • PrestoSQL
  • Flink
  • Kylin
  • Presto
  • Impala
  • Druid
  • Kudu
  • ClickHouse
  • Ambari
  • Airflow
  • Hue
  • DataX
  • Griffin
  • Kettle
  • Zabbix
  • MaxWell
  • NiFi
  • Structured Steaming
  • Tableau
  • Tidb
  • Phoenix
  • Druid
  • Filebeat
  • InfluxDB
  • Saiku
  • Sentry
  • Superset
  • Ranger
  • Atlas
  • JavaSE
  • MySQL
  • JDBC
  • Maven
  • IDEA
  • Redis
  • Git
  • Shell
  • Linux
  • Hadoop
  • Hive
  • Zookeeper
  • HBase
  • Sqoop
  • Azkaban
  • Oozie
  • JVM
  • JUC
  • Flume
  • Kafka
  • SpringBoot
  • Logstash
  • Kibanna
  • Spark Core
  • Spark SQL
  • Spark Streaming
  • ElasticSearch
  • Hudi
  • StreamPark
  • Docker
  • StreamSets
  • Iceberg
  • FlinkCDC
  • Doris
  • StarRocks
  • SeaTunnel
  • Zabbix
  • Grafana
  • ClickHouse
  • Prometheus
  • DolphinScheduler
  • Debezium
  • nmon
  • MaxCompute
  • DataHub
  • suga
  • DataV
  • QuickBI
  • DataWorks
  • Impala
  • HDFS
  • Yarn
  • MapReduce
  • FlinkSQL
  • EMR
  • Hive-on-Spark
  • Kubernetes
  • K8S
  • Spark-on-K8S
  • Flink-on-K8S
  • OGG
  • GitEE
  • JUC
  • Oracle
  • AWS
  • CDH
  • HDP
  • SqlServer
  • PostgreSQL
  • PrestoDB
  • PrestoSQL
  • Flink
  • Kylin
  • Presto
  • Impala
  • Druid
  • Kudu
  • ClickHouse
  • Ambari
  • Airflow
  • Hue
  • DataX
  • Griffin
  • Kettle
  • Zabbix
  • MaxWell
  • NiFi
  • Structured Steaming
  • Tableau
  • Tidb
  • Phoenix
  • Druid
  • Filebeat
  • InfluxDB
  • Saiku
  • Sentry
  • Superset
  • Ranger
  • Atlas
  • JavaSE
  • MySQL
  • JDBC
  • Maven
  • IDEA
  • Redis
  • Git
  • Shell
  • Linux
  • Hadoop
  • Hive
  • Zookeeper
  • HBase
  • Sqoop
  • Azkaban
  • Oozie
  • JVM
  • JUC
  • Flume
  • Kafka
  • SpringBoot
  • Logstash
  • Kibanna
  • Spark Core
  • Spark SQL
  • Spark Streaming
  • ElasticSearch
  • Hudi
  • StreamPark
  • Docker
  • StreamSets
  • Iceberg
  • FlinkCDC
  • Doris
  • StarRocks
  • SeaTunnel
  • Zabbix
  • Grafana
  • ClickHouse
  • Prometheus
  • DolphinScheduler
  • Debezium
  • nmon
  • MaxCompute
  • DataHub
  • suga
  • DataV
  • QuickBI
  • DataWorks
  • Impala
  • HDFS
  • Yarn
  • MapReduce
  • FlinkSQL
  • EMR
  • Hive-on-Spark
  • Kubernetes
  • K8S
  • Spark-on-K8S
  • Flink-on-K8S
  • OGG
  • GitEE
  • JUC
  • Oracle
  • AWS
  • CDH
  • HDP
  • SqlServer
  • PostgreSQL
  • PrestoDB
  • PrestoSQL

6大階段塑造高效成才路線

階段一 Java基礎(chǔ)核心 收起
核心技能
  • 1深入理解Java面向?qū)ο笏枷?/span>
  • 2掌握開發(fā)中常用基礎(chǔ)API
  • 3熟練使用集合框架、IO流、異常
  • 4能夠基于JDK8開發(fā)
  • 5熟練使用MySQL，掌握SQL語法
課程設(shè)計(jì)特色

本階段除了JavaSE中要求大家必會的常見知識外，重點(diǎn)加強(qiáng)了數(shù)據(jù)結(jié)構(gòu)思想、集合源碼分析，逐步培養(yǎng)大家深入學(xué)習(xí)的能力，此外為大數(shù)據(jù)框架學(xué)習(xí)打好基礎(chǔ)，加

強(qiáng)對SQL的講解，重點(diǎn)培養(yǎng)學(xué)生數(shù)據(jù)處理思想。

關(guān)鍵技術(shù)清單
  • Java基礎(chǔ)語法
    • 分支結(jié)構(gòu)if/switch、循環(huán)結(jié)構(gòu)for/while/do while
    • 方法聲明和調(diào)用、參數(shù)傳遞
    • 方法重載、數(shù)組的使用、命令行參數(shù)、可變參數(shù)
  • IDEA
    • IDEA常用設(shè)置、常用快捷鍵、自定義模板、關(guān)聯(lián)Tomcat、Web項(xiàng)目案例實(shí)操
  • 面向?qū)ο缶幊?/span>
    • 封裝、繼承、多態(tài)
    • 構(gòu)造器、包
    • super、this、Object類
    • 異常處理機(jī)制
    • 抽象類、接口、內(nèi)部類
    • 枚舉、注解、代理設(shè)計(jì)模式
    • 工廠設(shè)計(jì)模式、模板設(shè)計(jì)模式
    • 面向?qū)ο蟾呒墤?yīng)用
    • 常用基礎(chǔ)API、集合List/Set/Map、泛型、線程的創(chuàng)建和啟動
    • 深入集合源碼分析、常見數(shù)據(jù)結(jié)構(gòu)解析
    • 線程的安全、同步和通信、IO流體系、反射、類的加載機(jī)制、網(wǎng)絡(luò)編程
  • Java8-17新特性
    • Lambda表達(dá)式、方法引用、構(gòu)造器引用、StreamAPI
    • jShell(JShell)命令、接口的私有方法、Optional加強(qiáng)
    • 局部變量的類型推斷、更簡化的編譯運(yùn)行程序等
  • MySQL
    • DML語言、DDL語言、DCL語言
    • 分組查詢、Join查詢、子查詢、Union查詢、函數(shù)
    • 流程控制語句、事務(wù)的特點(diǎn)、事務(wù)的隔離級別等
    • 索引和優(yōu)化、存儲引擎、鎖機(jī)制、高可用設(shè)計(jì)、集群
    • 分庫分表、主從復(fù)制、視圖
    • 存儲過程、觸發(fā)器、自定義函數(shù)等
  • JDBC
    • 使用JDBC完成數(shù)據(jù)庫增刪改查操作、批處理的操作
    • 數(shù)據(jù)庫連接池的原理及應(yīng)用
    • 常見數(shù)據(jù)庫連接池C3P0、DBCP、Druid等
階段二 Hadoop生態(tài)體系架構(gòu) 點(diǎn)擊展開
核心技能
  • 1Linux系統(tǒng)的安裝和操作
  • 2熟練掌握Shell腳本語法
  • 3IDEA、Maven等開發(fā)工具的使用
  • 4Hadoop組成、安裝、架構(gòu)和源碼深度解析，以及API的熟練使用
  • 5Hive的安裝部署、內(nèi)部架構(gòu)、熟練使用其開發(fā)需求以及企業(yè)級調(diào)優(yōu)
  • 6Zookeeper的內(nèi)部原理、選舉機(jī)制以及大數(shù)據(jù)生態(tài)體系下的應(yīng)用
  • 7Flume的架構(gòu)原理、組件自定義、監(jiān)控搭建，熟練使用Flume開發(fā)實(shí)戰(zhàn)需求
  • 8Kafka的安裝部署以及框架原理，重點(diǎn)掌握Kafka的分區(qū)分配策略、數(shù)據(jù)可靠性、數(shù)據(jù)一致性、數(shù)據(jù)亂序處理、零拷貝原理、高效讀寫原理、消費(fèi)策略、再平衡等內(nèi)容
  • 9統(tǒng)籌Hadoop生態(tài)下的Hadoop、Flume 、Zookeeper、Kafka、DataX、MaxWell等諸多框架，搭建數(shù)據(jù)采集系統(tǒng)，熟練掌握框架結(jié)構(gòu)和企業(yè)級調(diào)優(yōu)手段
課程設(shè)計(jì)特色

本階段以Hadoop生態(tài)系統(tǒng)為主，是大數(shù)據(jù)主要框架的入門階段。根據(jù)課程的前后關(guān)聯(lián)性，先后為Linux、Hadoop、Hive、Zookeeper、Flume、Kafka、電商數(shù)據(jù)采集項(xiàng)目。課程順序經(jīng)過精心調(diào)研安排，符合學(xué)習(xí)的基本認(rèn)知規(guī)律。每個框架的

講解都是從基礎(chǔ)的安裝部署和架構(gòu)講解入手，穿插經(jīng)典實(shí)操案例，配以關(guān)鍵源碼解讀。階段最后安排講解數(shù)據(jù)倉庫采集系統(tǒng)，對各種框架融會貫通，帶領(lǐng)學(xué)員回顧所學(xué)框架的同時(shí)，迅速增長實(shí)際開發(fā)經(jīng)驗(yàn)。

關(guān)鍵技術(shù)清單
  • Maven
    • Maven環(huán)境搭建、本地倉庫&中央倉庫、創(chuàng)建Web工程、自動部署&持續(xù)繼承&持續(xù)部署
  • Linux
    • VI/VIM編輯器、系統(tǒng)管理操作&遠(yuǎn)程登錄、常用命令、軟件包管理&企業(yè)真題
  • Shell編程
    • 自定義變量與特殊變量、運(yùn)算符、條件判斷、流程控制、系統(tǒng)函數(shù)&自定義函數(shù)
    • 常用工具命令、常用正則表達(dá)式、面試真題
  • Hadoop
    • Hadoop生態(tài)介紹、Hadoop運(yùn)行模式、源碼編譯、HDFS文件系統(tǒng)底層詳解
    • DN&NN工作機(jī)制、HDFS的API操作、MapReduce框架原理
    • 數(shù)據(jù)壓縮、Yarn工作機(jī)制、MapReduce案例詳解、Hadoop參數(shù)調(diào)優(yōu)
  • Zookeeper
    • Zookeeper數(shù)據(jù)結(jié)果、內(nèi)部原理、選舉機(jī)制、Stat結(jié)構(gòu)體、監(jiān)聽器、分布式安裝部署
    • API操作、實(shí)戰(zhàn)案例、面試真題
  • HA+新特性
    • HDFS-HA集群配置
  • Hive
    • Hive架構(gòu)原理、安裝部署、遠(yuǎn)程連接、常見命令及基本數(shù)據(jù)類型、DML數(shù)據(jù)操作
    • 查詢語句、Join&排序、分桶&函數(shù)、壓縮&存儲、企業(yè)級調(diào)優(yōu)、實(shí)戰(zhàn)案例、面試真題
  • Flume
    • Flume架構(gòu)、Agent內(nèi)部原理、事務(wù)、安裝部署、實(shí)戰(zhàn)案例、自定義Source
    • 自定義Sink、Ganglia監(jiān)控
  • Kafka
    • 基礎(chǔ)架構(gòu)、安裝部署、命令行操作、生產(chǎn)者消息發(fā)送流程、異步發(fā)送API、同步發(fā)送API
    • 生產(chǎn)者分區(qū)策略、生產(chǎn)者如何提高吞吐量、數(shù)據(jù)可靠性、數(shù)據(jù)去重、數(shù)據(jù)有序、數(shù)據(jù)亂序
    • 節(jié)點(diǎn)服役和退役、Leader選舉流程、文件存儲機(jī)制、高效讀寫原理、消費(fèi)策略、數(shù)據(jù)積壓
    • Kafka-Eagle監(jiān)控、Kafka-Kraft模式
階段三 Spark生態(tài)體系架構(gòu) 點(diǎn)擊展開
核心技能
  • 1Spark的入門安裝部署、Spark Core部分的基本API使用熟練、RDD編程進(jìn)階、累加器和廣播變量的使用和原理掌握、Spark SQL的編程掌握和如何自定義函數(shù)、Spark的內(nèi)核源碼詳解（包括部署、啟動、任務(wù)劃分調(diào)度、內(nèi)存管理等）、Spark的企業(yè)級調(diào)優(yōu)策略
  • 2DophineScheduler的安裝部署，熟練使用進(jìn)行工作流的調(diào)度執(zhí)行
  • 3全面了解數(shù)據(jù)倉庫建模理論，充分熟悉電商行業(yè)數(shù)據(jù)分析指標(biāo)體系，快速掌握多種大數(shù)據(jù)技術(shù)框架，了解認(rèn)識多種數(shù)據(jù)倉庫技術(shù)模塊
  • 4HBase和Phoenix的部署使用、原理架構(gòu)講解與企業(yè)級優(yōu)化
  • 5開發(fā)工具Git&Git Hub的熟練使用
  • 6Redis的入門、基本配置講解、jedis的熟練掌握
  • 7ElasticSearch的入門安裝部署及調(diào)優(yōu)
  • 8充分理解用戶畫像管理平臺的搭建及使用、用戶畫像系統(tǒng)的設(shè)計(jì)思路，以及標(biāo)簽的設(shè)計(jì)流程及應(yīng)用，初步了解機(jī)器學(xué)習(xí)算法
  • 9項(xiàng)目實(shí)戰(zhàn)。貼近大數(shù)據(jù)的實(shí)際處理場景，全方面設(shè)計(jì)實(shí)戰(zhàn)項(xiàng)目，能夠更加全面的掌握大數(shù)據(jù)需求解決方案，全流程參與項(xiàng)目打造，短時(shí)間提高學(xué)生的實(shí)戰(zhàn)水平，對各個常用框架加強(qiáng)認(rèn)知，迅速累積實(shí)戰(zhàn)經(jīng)驗(yàn)
課程設(shè)計(jì)特色

本階段課程進(jìn)入進(jìn)階階段，主要講解核心大數(shù)據(jù)框架Spark和HBase，對兩大框架進(jìn)行了深入講解，包括兩大框架的基本安裝部署以及深入源碼解讀。此外，本階段還包含三大項(xiàng)目——離線數(shù)據(jù)倉庫項(xiàng)目、用戶畫像項(xiàng)目和項(xiàng)目實(shí)戰(zhàn)。前兩大項(xiàng)目均采用新架構(gòu)體系，穩(wěn)定的框架選型、經(jīng)典的理論解讀，手把手教你如何從0到1

搭建一個功能完善的大數(shù)據(jù)系統(tǒng)。內(nèi)容涵蓋大部分大數(shù)據(jù)經(jīng)典流行框架、大部分經(jīng)典需求實(shí)現(xiàn)，并配合企業(yè)級部署調(diào)優(yōu)講解，助力學(xué)員迅速增長開發(fā)經(jīng)驗(yàn)，適配大部分企業(yè)的大數(shù)據(jù)開發(fā)需求。項(xiàng)目實(shí)戰(zhàn)主要鍛煉學(xué)生動手實(shí)戰(zhàn)能力，根據(jù)前兩個項(xiàng)目所學(xué)，自己獨(dú)立按照企業(yè)需求完成開發(fā)任務(wù)。

關(guān)鍵技術(shù)清單
  • Spark
    • 安裝部署、RDD概述、編程模型、持久化&檢查點(diǎn)機(jī)制、DAG、算子詳解
    • RDD編程進(jìn)階、累加器&廣播變量、SparkSQL、DataFrame 、DataSet
    • 自定義UDF&UDAF函數(shù)、SparkSQL企業(yè)級調(diào)優(yōu)、數(shù)據(jù)傾斜處理、小文件處理、大表join大表
    • 大小表MapJoin、謂詞下推、CPU配置、內(nèi)存配置等
  • Presto
    • Presto的安裝部署
    • 使用Presto執(zhí)行數(shù)倉項(xiàng)目的即席查詢模塊
  • Superset
    • 使用SuperSet對數(shù)倉項(xiàng)目的計(jì)算結(jié)果進(jìn)行可視化展示
  • DolphinScheduler
    • 任務(wù)調(diào)度工具DolphinScheduler的安裝部署
    • 實(shí)現(xiàn)數(shù)倉項(xiàng)目任務(wù)的自動化調(diào)度、配置郵件報(bào)警
  • DataX
    • DataX架構(gòu)原理、DataX部署、DataX使用、DataX優(yōu)化
  • Atlas2.0
    • 元數(shù)據(jù)管理工具Atlas的安裝部署
  • MaxWell
    • 使用MaxWell實(shí)時(shí)監(jiān)控MySQL數(shù)據(jù)變化采集至實(shí)時(shí)項(xiàng)目
  • Zabbix
    • 集群監(jiān)控工具Zabbix的安裝部署
  • HBase
    • HBase原理及架構(gòu)、數(shù)據(jù)讀寫流程、API使用、企業(yè)級調(diào)優(yōu)
  • Redis
    • 安裝配置、Redis的五大數(shù)據(jù)類型、Jedis、持久化、RDB、AOF
階段四 Flink生態(tài)體系架構(gòu) 點(diǎn)擊展開
核心技能
  • 1熟練掌握Flink的基本架構(gòu)以及流式數(shù)據(jù)處理思想，熟練使用Flink多種Soure、Sink處理數(shù)據(jù)，熟練使用基本API、Window API 、狀態(tài)函數(shù)、Flink SQL、Flink CEP復(fù)雜事件處理等
  • 2使用Flink搭建實(shí)時(shí)數(shù)倉項(xiàng)目，熟練使用Flink框架分析計(jì)算各種指標(biāo)
  • 3ClickHouse安裝、使用及調(diào)優(yōu)
  • 4項(xiàng)目實(shí)戰(zhàn)。貼近大數(shù)據(jù)的實(shí)際處理場景，多維度設(shè)計(jì)實(shí)戰(zhàn)項(xiàng)目，能夠更廣泛的掌握大數(shù)據(jù)需求解決方案，全流程參與項(xiàng)目打造，短時(shí)間提高學(xué)生的實(shí)戰(zhàn)水平，對各個常用框架加強(qiáng)認(rèn)知，迅速累積實(shí)戰(zhàn)經(jīng)驗(yàn)
  • 5可選掌握推薦和機(jī)器學(xué)習(xí)項(xiàng)目，熟悉并使用系統(tǒng)過濾算法以及基于內(nèi)容的推薦算法等
  • 6采用阿里云平臺全套大數(shù)據(jù)產(chǎn)品重構(gòu)電商項(xiàng)目，熟悉離線數(shù)倉、實(shí)時(shí)指標(biāo)的阿里云解決方案
課程設(shè)計(jì)特色

本階段課程以大數(shù)據(jù)處理框架Flink為中心，從架構(gòu)講起，詳細(xì)講解了各種層面API的使用，并對Flink的高級應(yīng)用場景進(jìn)行了案例化講解，還配備了詳細(xì)的源碼解讀和優(yōu)化技巧。 本階段還圍繞Flink講解了大數(shù)據(jù)領(lǐng)域另一個十分重要的項(xiàng)目——Flink實(shí)時(shí)數(shù)據(jù)倉庫項(xiàng)目。本項(xiàng)目與離線數(shù)倉項(xiàng)目可以無縫對接，兩大項(xiàng)目共同組成一個完整的企業(yè)級大數(shù)據(jù)架構(gòu)。課程中包含深入全面的數(shù)倉理論講解、實(shí)用高效的實(shí)時(shí)問題解決方案。通過學(xué)習(xí)本項(xiàng)目，可以迅速掌握實(shí)時(shí)開發(fā)的重點(diǎn)難點(diǎn)，掌握多種實(shí)時(shí)難點(diǎn)問題解決方案，對實(shí)時(shí)領(lǐng)域框架的搭配應(yīng)用融會貫通，提升開發(fā)和調(diào)

優(yōu)經(jīng)驗(yàn)。本階段還配備項(xiàng)目實(shí)戰(zhàn)階段，主要鍛煉學(xué)生動手實(shí)戰(zhàn)能力，根據(jù)已學(xué)內(nèi)容，在講師指導(dǎo)下獨(dú)立完成開發(fā)任務(wù)。 此外，本階段課程還將講解時(shí)下流行的熱點(diǎn)問題項(xiàng)目，數(shù)據(jù)湖 or K8S or 技術(shù)中臺，成熟的技術(shù)課程可以使學(xué)員更全面了解大數(shù)據(jù)的發(fā)展趨勢，掌握更多更熱門的大數(shù)據(jù)技術(shù)，例如Hudi、K8S、數(shù)據(jù)治理等。 本階段包含企業(yè)級的項(xiàng)目調(diào)優(yōu)課程，通過搭建一個企業(yè)級的大數(shù)據(jù)集群，對項(xiàng)目中可能發(fā)生的高頻熱點(diǎn)問題、面試常見問題給出多角度解答，問題多、范圍廣、覆蓋全，有助學(xué)員提升開發(fā)經(jīng)驗(yàn)，熟悉開發(fā)環(huán)境。

關(guān)鍵技術(shù)清單
  • Flink
    • 運(yùn)行時(shí)架構(gòu)、數(shù)據(jù)源Source、Window API、Water Mark、狀態(tài)編程、Flink SQL
    • Table API、CEP復(fù)雜事件處理、Flink源碼、Flink優(yōu)化
  • ClickHouse
    • ClickHouse安裝、使用及調(diào)優(yōu)
  • SugarBI
    • 結(jié)合Springboot對接百度SugarBI實(shí)現(xiàn)數(shù)據(jù)可視化大屏展示
  • Doris
    • Doris編譯域安裝、集群擴(kuò)容和縮容、數(shù)據(jù)劃分、數(shù)據(jù)模型
    • 動態(tài)分區(qū)、Rollup、物化視圖、表的創(chuàng)建修改和刪除、數(shù)據(jù)導(dǎo)入導(dǎo)出
    • 查詢設(shè)置、Join查詢、集成Spark、集成Flink、企業(yè)級優(yōu)化、數(shù)據(jù)備份和恢復(fù)
  • Hudi
    • Hudi快速構(gòu)建、集成Spark、集成Flink、生產(chǎn)調(diào)優(yōu)
  • Iceberg
    • Iceberg構(gòu)建、集成Spark、集成Flink、生產(chǎn)調(diào)優(yōu)
  • K8S
    • 集群搭建、YAML文件詳解、命令行工具Kubectl、Pod、Label
    • Controller、Volume、PVC和PV、Secret、configMap、Namespace
    • Service、探針、調(diào)度器、集群安全機(jī)制RBAC、性能監(jiān)控平臺、Helm
  • Git&GitHub
    • 安裝配置、本地庫搭建、基本操作、工作流、集中式
  • Springboot
    • 利用Springboot開發(fā)可視化接口程序
階段五 AI輔助編程階段 點(diǎn)擊展開
核心技能
  • 1了解AI智能問答系統(tǒng)的基本使用
  • 2掌握AI輔助代碼編寫的提問技巧
  • 3掌握AI輔助解決bug的基本技能
  • 4充分利用AI輔助提升開發(fā)效率
課程設(shè)計(jì)特色

本階段的課程主要對AI智能問答系統(tǒng)進(jìn)行重點(diǎn)講解，從AI的使用常識開始，逐步了解AI的使用技巧和提問藝術(shù)，幫助學(xué)員熟練掌握當(dāng)前先進(jìn)的人工智能輔助開發(fā)技術(shù)。針對不同的框架技術(shù)，例如Hadoop、Hive、Spark、Flink等大數(shù)據(jù)熱門框

架技術(shù)，對如何利用AI輔助編寫代碼都有針對性講解。在實(shí)戰(zhàn)項(xiàng)目方面，對于不同的大數(shù)據(jù)項(xiàng)目，也細(xì)致講解如何利用AI輔助項(xiàng)目開發(fā)、性能調(diào)優(yōu)等。通過本階段的學(xué)習(xí)，可以讓學(xué)員充分掌握AI的使用，大大提高開發(fā)效率、提升經(jīng)驗(yàn)、減少錯誤。

關(guān)鍵技術(shù)清單
  • Shell編程
    • A輔助編寫Shell腳本
  • Hadoop
    • AI輔助編寫MapReduce程序、解決Bug
  • Hive
    • AI輔助編寫Hive SQL，輔助進(jìn)行SQL性能調(diào)優(yōu)
  • Flume
    • AI輔助組件選擇和工作流腳本編寫
  • Kafka
    • AI輔助解決Bug和性能調(diào)優(yōu)
  • Spark
    • AI輔助編寫Spark開發(fā)代碼、編寫Spark SQL、解決Bug、性能調(diào)優(yōu)
  • DataX
    • AI輔助編寫工作流腳本
  • Flink
    • AI輔助編寫需求代碼、解決代碼Bug
  • ClickHouse
    • AI輔助性能調(diào)優(yōu)
  • 數(shù)據(jù)倉庫采集系統(tǒng)實(shí)戰(zhàn)
    • AI輔助項(xiàng)目集群搭建、分析數(shù)據(jù)結(jié)構(gòu)、Flume組件選型、Kafka配置調(diào)優(yōu)等
  • 離線數(shù)據(jù)倉庫項(xiàng)目實(shí)戰(zhàn)
    • AI輔助數(shù)據(jù)倉庫建模、Hive SQL調(diào)優(yōu)、調(diào)度腳本編寫、指標(biāo)體系構(gòu)建、可視化接口編寫
  • 實(shí)時(shí)數(shù)據(jù)倉庫項(xiàng)目實(shí)戰(zhàn)
    • AI輔助編寫需求代碼、輔助解決Bug、性能調(diào)優(yōu)、需求解決方案優(yōu)化等
階段六 就業(yè)指導(dǎo) 點(diǎn)擊展開
核心技能
  • 1從技術(shù)和項(xiàng)目兩個角度按照企業(yè)面試要求帶領(lǐng)同學(xué)們復(fù)習(xí)
  • 2熟悉CDH在生產(chǎn)環(huán)境中的使用
  • 3手把手簡歷指導(dǎo)，讓同學(xué)們順利通過簡歷篩選
課程設(shè)計(jì)特色

本階段課程主要圍繞學(xué)員的就業(yè)需求，在真正就業(yè)前，幫助學(xué)員多維度復(fù)習(xí)鞏固所學(xué)知識和項(xiàng)目，串講經(jīng)典高頻面試題，傳授面試答題技巧，總結(jié)項(xiàng)目開發(fā)經(jīng)驗(yàn)，手

把手簡歷指導(dǎo)，解決學(xué)員在就業(yè)過程中遇到的各種難題。通過AI輔助，重構(gòu)優(yōu)化簡歷，優(yōu)化面試技巧，以及利用AI輔助學(xué)員自助面試，全面提升學(xué)員的綜合能力。

關(guān)鍵技術(shù)清單
  • 面試題+考試
    • 串講所學(xué)的所有技術(shù)點(diǎn)，如Hadoop、Hive、Kafka、Spark、Flink等技術(shù)框架高頻面試題
    • 串講所有學(xué)過的項(xiàng)目
    • 對所有串講的過的面試題和項(xiàng)目進(jìn)行考試
  • CDH
    • 在阿里云服務(wù)器上，基于CDH安裝部署全部離線數(shù)據(jù)倉庫項(xiàng)目
  • 就業(yè)指導(dǎo)
    • 簡歷指導(dǎo)、職業(yè)規(guī)劃、AI輔助優(yōu)化簡歷
    • 簡歷書寫（Word、網(wǎng)上）
    • 模擬面試、AI輔助模擬面試、AI輔助筆試

職業(yè)選擇口徑寬

大數(shù)據(jù)測試
工程師 實(shí)時(shí)數(shù)倉
工程師 資深架構(gòu)師 高級架構(gòu)師 數(shù)據(jù)開發(fā)
工程師 Hadoop
工程師 平臺開發(fā)
工程師 AI提示
工程師 數(shù)據(jù)架構(gòu)師 CTO 建模工程師 用戶畫像
工程師 ETL工程師 Spark
工程師 Flink
工程師 大數(shù)據(jù)運(yùn)維
工程師 數(shù)據(jù)治理
工程師 離線數(shù)倉
工程師 數(shù)據(jù)分析
工程師

全程護(hù)航，你們只管乘風(fēng)破浪

從入學(xué)到就業(yè)后，尚硅谷始終在你身邊，助力學(xué)員整個職業(yè)生涯持續(xù)提升！一站式服務(wù)模式，用更高的效率，
更科學(xué)化的方法，提供長期就業(yè)輔導(dǎo)、推薦和技術(shù)支持

  • 大數(shù)據(jù)培訓(xùn)

    不同于目前培訓(xùn)機(jī)構(gòu)普遍采用的測試方式，我們對基礎(chǔ)沒有硬性要求，我們不會用提高技術(shù)門檻的方法來降低自己培訓(xùn)壓力與風(fēng)險(xiǎn)，只要你是有志青年、 有學(xué)習(xí)潛力、熱愛編程，尚硅谷就愿意為你提供學(xué)習(xí)平臺，助你成才。

  • 根據(jù)每個學(xué)員具體情況制定預(yù)習(xí)方案，幫你提前進(jìn)入狀態(tài)。

  • 大數(shù)據(jù)培訓(xùn)課程

    技術(shù)老師、輔導(dǎo)老師、班主任全程貫穿
    技術(shù)學(xué)習(xí)+項(xiàng)目實(shí)戰(zhàn)+學(xué)習(xí)效果測評+輔導(dǎo)答疑+生活幫助

  • 就業(yè)老師1v1面試指導(dǎo)
    職業(yè)素養(yǎng)課+簡歷指導(dǎo)+模擬面試+面試

  • 大數(shù)據(jù)培訓(xùn)班

    畢業(yè)后仍可按需學(xué)習(xí)，免費(fèi)充電，持續(xù)提升

  • 扶上馬，再送一程，幫助學(xué)員解決工作中的問題。

全國中心

北京基地
北京大數(shù)據(jù)培訓(xùn)
上海基地

上海大數(shù)據(jù)培訓(xùn)
深圳基地
深圳大數(shù)據(jù)培訓(xùn)
武漢基地
武漢java培訓(xùn)

西安基地
西安java培訓(xùn)
成都基地
成都java培訓(xùn)