大數據視頻下載導航(學習路線圖)
以下視頻為歷年授課實錄，適合谷粉自學
實際面授課程每三個月都會更新迭代，保持技術的先進性與前瞻性，無縫對接企業(yè)需求
1
核心基礎
2
大數據
核心框架
核心框架
3
項目實戰(zhàn)
核心基礎
尚硅谷_Java基礎B站1500萬+的播放量見證經典，尚硅谷宋紅康老師的Java入門視頻堪稱神作，如今，經典再次超級進化，新版Java視頻教程震撼來襲！開發(fā)環(huán)境全新升級：JDK17+IDEA2022隨堂案例全面升級：190個+，全程案例式教學項目實戰(zhàn)重磅升級：3套授課項目+6套拓展項目面霸養(yǎng)成模式強化：大廠真題剖析300道+……一套教程滿足你學Java的所有幻想！全面覆蓋Java所有重點知識，充分考慮到初學者的學習特點，經典圖示講解100張+、拓展練習題350道+、附贈備查電子書1300頁+，這不僅僅是一套視頻，課件、源碼、練習題和大廠真題、項目、學習路線圖、資料……全部打包贈送！教程講解深入源碼、深入底層。解析數據結構，手寫鏈表、棧、隊列、二叉樹，剖析BST與紅黑樹；剖析最新規(guī)范內存結構、解析字節(jié)碼文件、類的加載；詳解HashMap、ArrayList、String等類的底層源碼；JUC、設計模式、第三方框架面面俱到……讓你醍醐灌頂，快速形成Java知識體系！注重編程思想與編程習慣的培養(yǎng)。編程思想和編程習慣決定了程序員的成長上限，這套教程授之以魚更授之以漁，教你知識更教你方法，教你方法更教你思路。教你如何編寫高效簡潔的代碼，剖析大廠阿里巴巴的開發(fā)規(guī)范，幫你養(yǎng)成良好編碼習慣，全面梳理面向對象的編程思想，模塊化教學方式讓你填空式系統地掌握知識點。Java從入門到精通，只此一套搞定！ 
尚硅谷_MySQL數據庫就像一棵常青的技能樹，無論是初級程序員還是CTO、首席架構師都能從中汲取足夠的技術養(yǎng)料。菜鳥往往積累單點技術，如 DML、DDL、存儲過程和函數、約束、索引的數據結構，老鳥則需要吃透底層原理，數據庫事務ACID如何實現？鎖機制與MVCC又是怎么回事？分布式場景下數據庫怎么優(yōu)化保持高性能？知道怎么用是一方面，知道為什么則是更為稀缺的能力。程序員核心能力中至關重要的一點：精通數據庫。精通意味著：第一，形成知識網，更靈活地應對突發(fā)問題；第二，懂底層原理，更自由地應對復雜多變的業(yè)務場景。B站1000w+播放量名師宋紅康繼《30天搞定Java核心技術》與《JVM從入門到精通》之后，又一王炸力作：《MySQL從小白到大神》面世！從入門到精通，帶你一路打怪升級，猥瑣發(fā)育，野蠻生長，成為MySQL實戰(zhàn)高手！還是同樣的配方，還是熟悉的味道，康師傅堅持一貫的“大處著眼，小處入手”的授課思路，針對技術難點庖丁解牛，娓娓道來，全程高能，干貨滿滿。教程調研了多家大廠程序員、架構師，并融合了尚硅谷多年授課積累，幾十個實際項目案例剖析，二百多道實戰(zhàn)真題，在深度與廣度、系統性和實戰(zhàn)性方面，本套百科書式的教程可以說是無出其右！【適合人群】1、MySQL初學者，建議全套教程系統學習；2、1-3年工作經驗的開發(fā)人員或運維人員，“基礎篇”可選學，或跳過“基礎篇”直接從“高級特性篇”開始學習；3、資深的MySQL DBA，本套教程可作為“案頭書”，在解決問題時，某些概念或細節(jié)模糊，可拿來作參考。教程分為《MySQL數據庫基礎篇》與《MySQL高級特性篇》?！尽皵祿旎A篇”內容大綱】1. 數據庫概述與MySQL安裝篇第01章：數據庫概述第02章：MySQL環(huán)境搭建2. SQL之SELECT使用篇第03章：基本的SELECT語句第04章：運算符第05章：排序與分頁第06章：多表查詢第07章：單行函數第08章：聚合函數第09章：子查詢3. SQL之DDL、DML、DCL使用篇第10章：創(chuàng)建和管理表第11章：數據處理之增刪改第12章：MySQL數據類型精講第13章：約束4. 其它數據庫對象篇第14章：視圖第15章：存儲過程與函數第16章：變量、流程控制與游標第17章：觸發(fā)器5. MySQL8 新特性篇第18章：MySQL8其它新特性【“高級特性篇”內容大綱】1. MySQL架構篇第01章：Linux下MySQL的安裝與使用第02章：MySQL的數據目錄第03章：用戶與權限管理第04章：邏輯架構第05章：存儲引擎第06章：InnoDB數據頁結構2. 索引及調優(yōu)篇第07章：索引第08章：性能分析工具的使用第09章：索引優(yōu)化與SQL優(yōu)化第10章：數據庫的設計規(guī)范第11章：數據庫其他調優(yōu)策略3. 事務篇第12章：事務基礎知識第13章：MySQL事務日志第14章：鎖第15章：多版本并發(fā)控制（MVCC）4. 日志與備份篇第16章：其它數據庫日志第17章：主從復制第18章：數據庫備份與恢復
尚硅谷_Linux+ShellLinux作為一款經典的開源軟件，已經成為服務器操作系統的首選。Linux繼承了Unix簡約高效的設計風格，性能強大，安全穩(wěn)定，只需占用很少的硬件資源就可以為龐大的應用服務提供支持?；ヂ摼W大廠日活過億的應用，背后依靠的就是成千上萬的Linux服務器，在大數據、云計算等蓬勃發(fā)展的領域，構建分布式的服務器集群，Linux更是占據了操作系統的主流。在如今的互聯網公司中，不論是做系統運維，還是做應用開發(fā)、大數據處理，都需要對服務器進行操作管理，Linux成為了不可或缺的技能。在各個大廠的招聘職位中，Linux更是開發(fā)人員的必備技術棧。尚硅谷精心打造了Linux新版視頻教程，選用Linux發(fā)行版CentOS 7，并使用CentOS 7.9版本，教程內容廣泛升級，并對不同CentOS版本的變化做了說明。教程易上手重實操，深入淺出，又涵蓋了操作系統原理的眾多知識點，對Linux日常管理操作進行了詳細的講解，并在Shell編程部分給出了大量工作實踐的腳本案例。
尚硅谷_JDBC深入掌握JDBC，是打通Java和數據庫之間的橋梁。本套教程開發(fā)環(huán)境采用JDK21，分層次漸進式學習。講解中融入了框架思想，通過學習ORM思想及手動操作，使用反射技術搭建BaseDAO通用工具類，強化底層思想，為后續(xù)框架內容學習打下基礎。教程分為三大篇章：基礎篇，以解決現有問題的角度，快速學習JDBC的基礎應用，讓你低學習成本上手使用JDBC；進階篇，帶你理解ORM思想，在基礎篇的內容上做進一步的優(yōu)化，掌握多種連接池優(yōu)化程序的能力；高級篇，融入實戰(zhàn)經驗的封裝、優(yōu)化、功能流程的把控，強化開發(fā)項目思想，優(yōu)化代碼邏輯。學習本套教程，需掌握數據庫MySQL的使用。教程附贈全套視頻、源碼、筆記、資料，保姆級教學，手把手帶你通關JDBC！
大數據核心框架
尚硅谷_ZooKeeperZooKeeper是一個分布式的、開源的分布式應用程序協調服務，是Hadoop和Hbase的重要組件。Zookeeper為分布式應用提供一致性服務，功能包括：配置維護、域名服務、分布式同步、組服務等，是大數據開發(fā)工程師必會的框架之一。尚硅谷Zookeeper視頻教程再次全方面大升級！在對Zookeeper的集群安裝、選舉機制、常見操作等內容講解之外，增加了Zookeeper的分布式鎖案例、對ZAB協議的精細講解，更加細致地講解了Paxos算法，深入剖析了Zookeeper源碼。本套教程的特點是“新、全、細““新“：基于穩(wěn)定版Zookeeper 3.5.7講解；“全”：從實踐應用到源碼內核，無所不包，無所不講，一套教程讓你徹底掌握Zookeeper；“細”：還是一樣的配方，還是熟悉的味道，知識點詳細、注釋詳細、源碼詳細，視頻、筆記、代碼、資料各種贈送！教程內容：Zookeeper集群安裝與部署Zookeeper命令行操作及API操作Zookeeper服務器動態(tài)上下線監(jiān)聽案例Zookeeper分布式事務鎖案例Zookeeper算法講解（拜占庭將軍問題、Paxos算法、ZAB協議、CAP理論）Zookeeper源碼詳解（服務端初始化源碼、服務器端加載數據源碼、選舉算法、狀態(tài)同步算法、Leader啟動源碼、Follower啟動源碼、客戶端啟動源碼）
尚硅谷_Hadoop2.x視頻教程Hadoop框架主要用來解決海量數據的存儲和分析計算問題。是大數據開發(fā)工程師所需技術之一。課程特點：1、全程案例貫穿始終，幾乎每個知識點都有配套的案例；2、整個框架深入源碼講解；3、優(yōu)化措施來源于企業(yè)開發(fā)；本課程中你將學習到，Hadoop完全分布式集群搭建、Hadoop源碼編譯、HDFS的Shell操作、HDFS的API操作、HDFS的IO流操作、HDFS讀寫數據流程、NameNode和SecondaryNameNode工作機制、DataNode工作機制、集群節(jié)點動態(tài)服役和退役、HDFS2.x新特性、MapReduce編程規(guī)范、自定義序列化、自定義InputFormat、自定義OutputFormat、分區(qū)、排序、合并、分組、ReduceJoin、MapJoin、數據清洗、計數器、TopN案例、倒排索引案例、MapTask工作機制、ReduceTask工作機制、Shuffle工作機制、MapReduce工作流程、Job提交流程源碼、MapReduce源碼、數據壓縮、Yarn工作機制、作業(yè)提交流程、YARN資源調度器、MapReduce企業(yè)優(yōu)化、HDFS小文件企業(yè)優(yōu)化、數據傾斜優(yōu)化等。
尚硅谷_Hadoop3.xHadoop是大數據技術中最重要的框架之一，是學習大數據必備的第一課，在Hadoop平臺之上，可以更容易地開發(fā)和運行其他處理大規(guī)模數據的框架。尚硅谷Hadoop視頻教程再次重磅升級！以企業(yè)實際生產環(huán)境為背景，增加了更廣泛、更細致、更硬核的生產調優(yōu)手冊，對源碼解析部分進行了新的擴充和升級，并增加大量企業(yè)實戰(zhàn)案例！課程特點：1、新本教程基于當前企業(yè)使用流行版本Hadoop3.1.3錄制，站在技術的前沿，研究企業(yè)最關心的技術，不落人后；2、細從搭建集群開始講解，細致到每一個配置，每一行代碼的講解，源碼講解也均配有詳細注釋，逐步分析源碼運行，將關鍵點一網打盡，手把手教你閱讀百萬行源碼3、真使用企業(yè)級真實案例進行知識點講解，以企業(yè)實際生產背景為例講解調優(yōu)手段，共包含20+企業(yè)中真實案例、30+企業(yè)真實調優(yōu)方法，無縫對接真實生產環(huán)境；4、全從Hadoop集群的安裝部署開始，對Hadoop各種功能模塊進行講解。教程包含各種教學資料，教學筆記、安裝包、隨堂筆記、源代碼、視頻，各種打包奉上。前置知識：Java基礎、Maven基本操作、IDEA基本使用、Linux基礎命令。
尚硅谷_Hadoop3.x高可用集群Hadoop是一個能夠對海量數據進行分布式處理的軟件框架，用戶可以輕松地在Hadoop上開發(fā)和運行處理PB級數據，具有高可靠性、高擴展性、高容錯性、低成本等眾多優(yōu)點。Hadoop是大數據技術中最重要的框架之一，是大數據工程師的必備技能。繼尚硅谷Hadoop新版教程重磅升級之后，再次帶來Hadoop高可用集群教程，教你如何解決單點故障問題，教程內容包含HDFS手動和全自動高可用集群，以及Yarn集群的全自動高可用集群。學成之后，再也不用擔心某個進程掛掉導致集群不可用，老板要殺了你祭天了……課程前置知識：Java、Hadoop、Zookeeper、Linux
尚硅谷_HA視頻教程HA(High Available)意為高可用，在本課程中主要是Hadoop的高可用，在實際開發(fā)環(huán)境中是必不可少的技術之一。你將通過本課程學習到，Hadoop存在的單點故障問題，解決單點故障的方案，搭建手動故障轉移的HDFS-HA集群，搭建基于Zookeeper的自動故障轉移的HDFS-HA集群以及自動故障轉移的Yarn-HA集群。
尚硅谷_Hive3.1.3Hive是大數據領域的一門重要工具技術，它基于Hadoop，令繁瑣復雜的MapReduce程序可以使用簡單易讀的標準SQL語句替代，是大數據開發(fā)工程師的必備技能之一。經典視頻教程，再次全面升級！尚硅谷大數據研究院攜四大升級，帶來了全新的Hive新版視頻教程——【升級一：版本升級】由Hive 3.1.2升級至Hive 3.1.3，小升級，大變化，Hive 3.1.3是廣泛應用的新穩(wěn)定版本，更實用！【升級二：內容升級】重構教程體系，擴充了架構原理講解、內部服務部署、常見參數詳解、分等級實戰(zhàn)案例、企業(yè)級性能調優(yōu)方案等內容，更系統，更詳實！【升級三：代碼升級】增加大量綜合實戰(zhàn)案例，并分為初中高級便于練習，高效提升HQL技能！【升級四：內核升級】增加大量執(zhí)行計劃解讀的講解，執(zhí)行計劃解讀能力是Hive開發(fā)工程師的內功之一，提升內功修為，HQL調優(yōu)不在話下！除四大升級外，Hive新版視頻教程延續(xù)尚硅谷一貫風格。管家式教學，從安裝部署到HQL語法講解，從函數詳解到企業(yè)級性能調優(yōu)，30小時+的教學，手把手帶你從入門到精通；敗家式贈送，教學視頻，配套代碼、筆記、資料，送送送！360度無死角的貼心教輔資料，你說學不會，我們不答應！
尚硅谷_Hive源碼解析及優(yōu)化Hive是基于Hadoop的數據倉庫工具，用來進行數據提取、轉化、加載，是一種可以存儲、查詢和分析存儲在Hadoop中的大規(guī)模數據的機制。Hive將繁瑣的MapReduce程序變成了簡單方便的SQL語句實現，深受廣大軟件開發(fā)工程師喜愛，是進入互聯網行業(yè)的大數據開發(fā)工程師必備技術之一。本套視頻教程為Hive的進階課程，分為源碼解析和優(yōu)化兩部分內容，通過本套教程你將學習到：企業(yè)級調優(yōu)以及在大數據量時如何通過不運行HQL得知優(yōu)化是否生效，以及簡單方便的SQL語句翻譯為MapReduce程序的全流程源碼分析，包括Hive的經典面試題講解，幫你開拓解決問題的視野及思路，搞定大廠面試！教程提供全套授課視頻、筆記、面試題、資料，共計41講，時長5小時。
尚硅谷_FlumeFlume是一個高可靠且高可用的分布式海量日志采集、聚合和傳輸的系統，它基于簡單而靈活的流式架構，具有可靠性機制及故障轉移和恢復機制，且有強大的容錯能力，已成為大數據開發(fā)工程師必會的框架之一。在本套視頻教程中，你將學習到Flume架構原理、安裝配置、拓撲結構、使用Flume搭建監(jiān)控端口采集數據、監(jiān)控本地（或HDFS）文件（或文件夾）采集數據、多數據源采集數據、多數據出口收集日志、Flume負載均衡、Flume中的事務、Flume故障轉移、自定義組件Source和Sink以及對于Flume監(jiān)控Ganglia的運用等。本套新版視頻教程的Flume版本由 1.7升級至1.9，針對企業(yè)中常用組件做了深入的剖析，用企業(yè)的真實案例做演示，增加了Flume監(jiān)控工具的使用，對Flume核心組件進行了源碼閱讀，針對企業(yè)特殊應用場景做了源碼修改。一套教程，輕輕松松讓你對Flume從入門到實戰(zhàn)！教程適用于從事數據采集工作的從業(yè)者、數倉工程師，以及大數據技術愛好者，學習需具備Java基礎及Hadoop基礎。
尚硅谷_HBase2.xHBase是一個面向列式存儲的分布式數據庫，底層存儲基于 HDFS 實現，集群管理基于 ZooKeeper實現。HBase良好的分布式架構設計為海量數據的快速存儲、隨機訪問提供了可能，基于數據副本機制和分區(qū)機制可以輕松實現在線擴容、縮容和數據容災，是大數據領域中Key-Value數據結構存儲最常用的數據庫方案。本套教程基于HBase2.4.11研發(fā)，分析底層代碼邏輯，結合實際應用實踐，提供了使用指南，教程內容包含HBase架構講解、常見Shell操作、API操作、RowKey設計和各類調優(yōu)策略等，同時講解了HBase與Phoenix、Hive兼容，提供了多種企業(yè)開發(fā)使用方式，輕松應對不同應用場景的開發(fā)需求，帶你全局式掌握HBase安裝部署和開發(fā)使用。
尚硅谷_DolphinScheduler2.xDolphinScheduler是一個分布式、易擴展的可視化DAG工作流任務調度平臺，致力于解決數據處理流程中錯綜復雜的依賴關系，使調度系統在數據處理流程中開箱即用。本套教程由尚硅谷大數據教研團隊與DolphinScheduler開發(fā)團隊聯合推出，基于DolphinScheduler 2.0.5版本，延續(xù)尚硅谷視頻教程的一貫風格，多角度調研與其他大數據框架的版本兼容性，給出管家式的部署安裝過程，并對工作流的配置、依賴設置、參數設置等做出了詳盡講解。教程在講解框架的基礎架構，介紹角色的主要作用，演示常見的使用之外，還做了進階講解，探討了工作流傳參的相關技巧，依賴資源的引用方式，如何完成郵件告警，以及如何做到工作流失敗重跑等。教程堪稱保姆級講解，從安裝到優(yōu)化，各種操作一網打盡，帶你輕松掌握當下火熱的工作流調度平臺：DolphinScheduler。
尚硅谷_MaxwellMaxwell是一個輕量級的MySQL數據抓取軟件，在大數據領域有非常廣泛的應用?？梢詫崟r讀取MySQL二進制日志Binlog，并生成JSON格式的消息，作為生產者發(fā)送給Kafka、Kinesis、RabbitMQ、Redis、Google Cloud Pub/Sub、文件或其它平臺的應用程序。本套教程以Maxwell的底層原理展開講解，細致地介紹了Maxwell的安裝部署及常見應用，詳細講解了如何實現MySQL數據的采集，并將數據分別發(fā)送至控制臺與Kafka。教程內容詳盡，操作簡單清楚，讓你輕輕松松2個小時掌握Maxwell！
尚硅谷_CanalCanal是由阿里開發(fā)并開源的輕量級MySQL數據抓取軟件，在大數據領域有著非常廣泛的應用?？梢詫崟r讀取MySQL二進制日志Binlog，并生成JSON格式的消息，作為生產者發(fā)送給Kafka、Kinesis、RabbitMQ、Redis、Google Cloud Pub/Sub、文件或其它平臺的應用程序，還可以使用TCP模式自定義數據格式以及發(fā)送的下游。本套教程以Canal的底層原理展開講解，細致介紹了Canal的安裝部署及常見應用，詳細講解了如何實現MySQL數據的采集，并將數據分別發(fā)送至Kafka，同時使用TCP模式深層解析封裝的數據，并實現自定義數據格式。教程含全套視頻、教輔文檔、代碼、軟件，一站式搞定Canal。
尚硅谷_ScalaScala是一門基于JVM的靜態(tài)類型高級語言，兼有面向對象和函數式編程兩大特點，可視作Java的擴展和延申，不僅運行效率高且語法簡潔高效，對程序員更為友好。它的很多特性對于集合類型數據處理有先天優(yōu)勢，而這恰恰是大數據處理的基礎。如今大數據技術蓬勃發(fā)展，Spark作為大數據處理的核心框架，是從業(yè)人員需要掌握的工具，它的底層代碼就由Scala編寫，同時提供了功能強大的Scala API，Flink等大數據框架同樣提供了完整的Scala API，掌握Scala已成為學習大數據技術的必備技能！尚硅谷精心打造了大數據技術之Scala課程，以后續(xù)Spark學習和大數據項目應用為目標，結合眾多具體的編程案例，系統詳細地介紹了Scala的語法結構和語言特性。本套視頻教程分為三大部分：基礎篇、核心篇和擴展篇。1. 基礎篇：Scala入門介紹和基本語法講解，內容包括：Scala語言的特點和發(fā)展歷史、變量和數據類型、運算符以及流程控制；2. 核心篇：Scala的核心特性以及與大數據緊密相關的集合操作，內容包括：函數式編程、面向對象編程以及集合數據類型；3. 擴展篇：Scala的一些其它特色講解，主要包括：模式匹配、異常處理、隱式轉換以及泛型等。本套視頻教程采用Scala 2.12版本，以項目為導向，內容詳盡，通過案例驅動，由淺入深，通俗易懂，即使編程小白也可快速上手！學習需具備Java語言基礎，教程提供全套視頻、筆記、代碼、資料，總計25小時+。
尚硅谷_Spark調優(yōu)Spark是大數據工程師的必備技能之一，本套Spark性能調優(yōu)教程從多個角度詳解Spark調優(yōu)策略，包括資源配置調優(yōu)、Spark SQL語法調優(yōu)、執(zhí)行計劃解讀、數據傾斜問題解決、Job優(yōu)化、Spark 3.0新特性詳解等。每個角度都提供了多種解決方案參考，并提出了詳細的配置參數，剖析了常見的故障排除手法，可解決工作中遇到的各種Spark疑難雜癥。教程基于Spark 3.0版本，拆解了Spark 3.0的新特性：AQE（自適應查詢執(zhí)行）、DPP（動態(tài)分區(qū)裁剪）、Hint增強，新增了謂詞下推、列剪裁、常量替換、基于CBO的優(yōu)化等Spark SQL優(yōu)化手段。教程內容涉及面廣、系統性強，將常用的Spark優(yōu)化手段綜合分類，提供了多種解決方案，在講解常見問題的前提下，更注重培養(yǎng)解決問題的通用思路，讓學習者可以觸類旁通舉一反三。
尚硅谷_Flink內核源碼解析Flink是大數據實時計算領域的當紅炸子雞，憑借其優(yōu)秀的計算性能備受業(yè)內青睞，對離線數據和實時數據處理的兼容并包，使其應用越加廣泛。Flink已經成為高薪大數據工程師的必備技能之一。尚硅谷在發(fā)布Flink系列視頻后，又研發(fā)推出了Flink性能調優(yōu)教程，與之前發(fā)布的Flink系列教程相輔相成，可作關聯學習。本套Flink性能調優(yōu)教程以企業(yè)實際開發(fā)環(huán)境為基礎，從資源配置調優(yōu)、狀態(tài)及checkpoint調優(yōu)、反壓處理、數據傾斜、Job優(yōu)化、Flink SQL調優(yōu)六大角度出發(fā)，詳細講解了如何對Flink應用進行調優(yōu)，并分別講解了調優(yōu)策略的內部機制及具體參數配置，可大大提高Flink開發(fā)效率，提升學習者的實戰(zhàn)經驗。教程中還廣泛收集了常見的Flink開發(fā)故障，給出了問題解決思路及指導，從原理到實踐，再到經驗分享，一套教程講透Flink性能調優(yōu)。
尚硅谷_Flink性能調優(yōu)Flink是大數據實時計算領域的當紅炸子雞，憑借其優(yōu)秀的計算性能備受業(yè)內青睞，對離線數據和實時數據處理的兼容并包，使其應用越加廣泛。Flink已經成為高薪大數據工程師的必備技能之一。尚硅谷在發(fā)布Flink系列視頻后，又研發(fā)推出了Flink性能調優(yōu)教程，與之前發(fā)布的Flink系列教程相輔相成，可作關聯學習。本套Flink性能調優(yōu)教程以企業(yè)實際開發(fā)環(huán)境為基礎，從資源配置調優(yōu)、狀態(tài)及checkpoint調優(yōu)、反壓處理、數據傾斜、Job優(yōu)化、Flink SQL調優(yōu)六大角度出發(fā)，詳細講解了如何對Flink應用進行調優(yōu)，并分別講解了調優(yōu)策略的內部機制及具體參數配置，可大大提高Flink開發(fā)效率，提升學習者的實戰(zhàn)經驗。教程中還廣泛收集了常見的Flink開發(fā)故障，給出了問題解決思路及指導，從原理到實踐，再到經驗分享，一套教程講透Flink性能調優(yōu)。
尚硅谷_ClickHouse從入門到精通ClickHouse是一個真正面向列的DBMS，采用列式存儲，提供超高壓縮比的壓縮算法，輕松存儲海量數據。多樣化的引擎方案、類LSM Tree的結構、極致的并行處理能力，可以為用戶提供高吞吐實時數據處理，其單表查詢能力更是尤其亮眼。ClickHouse多方面的優(yōu)秀表現使其成為構建離線數倉、實時數倉的不二選擇，深受大廠青睞，成為了近年來一個異軍突起的OLAP引擎，一匹真正的黑馬。尚硅谷不負粉絲期待，深入研發(fā)探索，解鎖大家最感興趣的ClickHouse知識點。從入門級別的單機安裝、分片集群部署、數據類型講解、多樣化表引擎介紹，以及不可或缺的SQL操作詳細講解；到深入級別的執(zhí)行計劃操作、建表優(yōu)化、表參數調優(yōu)、CPU參數調優(yōu)、內存參數調優(yōu)，以及多種語法優(yōu)化規(guī)則講解、多種單表查詢優(yōu)化策略講解；再到進階級別的與Prometheus和Grafana集成監(jiān)控詳解、手動實現備份與恢復等……整套教程有四大特點：“新”，采用ClickHouse新穩(wěn)定版21.3.7.14；“細”，提供各種配置文檔、隨堂筆記、工具軟件；“全”，幾乎涵蓋ClickHouse各種內容，一條龍搞定；“真”，以真實的生產環(huán)境場景講解，各種知識點都圍繞實用性展開，拳拳到肉，步步深入，讓你從0到1掌握ClickHouse！
尚硅谷_Flink CDCFlink CDC是Flink社區(qū)開發(fā)的Flink-cdc-connector組件，是一個可以實現從MySQL、PostgreSQL等數據庫直接讀取全量數據和增量變更數據的source組件。通過使用Flink CDC，搭配Flink的流批一體數據計算引擎，能夠實現采集計算一體化，更加方便項目的需求開發(fā)和后續(xù)維護。本套視頻教程理論與實踐相結合，從Flink CDC的基本使用入手，分別講解了DataStream方式和FlinkSQL方式兩種使用模式，并詳細講解了如何自定義反序列化器。更為用戶調研了Flink的Flink CDC 2.0，基于1.x的技術痛點，2.0給出了更優(yōu)化的解決方案，教程結合源碼深入分析了其核心原理。
尚硅谷_Superset數據可視化在大數據領域有著十分重要的位置，如何選擇一款適合的可視化工具，需要做大量的調研工作。Superset是一款優(yōu)秀易用的開源數據可視化平臺，功能強大且兼容性強，可對接多種數據源，圖標展示形式豐富多樣，支持自定義儀表盤。Superset一向是尚硅谷數據倉庫項目的首選數據可視化平臺，此次尚硅谷將Superset視頻教程單獨研發(fā)推出，詳細講解了Superset的環(huán)境搭建及使用，教程內容包括Superst環(huán)境搭建、啟停腳本編寫、對接常用數據源、儀表盤配置實戰(zhàn)、常用圖表如折線圖、地圖、餅狀圖的詳細配置等。
尚硅谷_Atlas數據治理元數據管理是大數據體系中數據治理的重要一環(huán)，Apache Atlas為企業(yè)提供了開放式的元數據管理和治理功能，可以方便地將數據庫元數據信息導入到Atlas中進行分析，通過Atlas企業(yè)可以對數據庫元數據建立資產目錄，并對數據資產進行分類和治理，為數據分析和治理提供高質量的元數據信息。本套視頻教程基于新穩(wěn)定版本Atlas 2.1進行講解，從Atlas運行環(huán)境的安裝部署，到與Apache生態(tài)圈的眾多組件進行集成，都進行了細致的講解，并各種經過了兼容性調研，還擴展講解了如何編譯Atlas源碼，以及內容配置和用戶權限配置等。教程時長4小時，提供配套的筆記、安裝包、虛擬機、腳本等教輔資料。
尚硅谷_監(jiān)控告警系統(Prometheus)大數據系統通常運行著眾多的指標計算程序，想第一時間發(fā)現程序異常，需要一套完備的監(jiān)控系統，能對運行現狀進行可視化展示，并及時探查到運行異常并精準告警，基于此需求，我們研發(fā)了這套監(jiān)控告警系統。這是一套集成了Prometheus+Grafana+睿象云的監(jiān)控告警系統，融合了當下熱門的監(jiān)控系統Prometheus，使用了便捷的數據可視化工具Grafana，睿象云智能告警平臺可接入各類告警信息，提供了豐富的告警形式。本套教程細致講解了三大技術的部署配置與互相集成，手把手教你打造一個功能完善、界面美觀、報警及時的監(jiān)控系統。
尚硅谷_監(jiān)控告警系統(Zabbix)大數據系統通常運行著眾多的指標計算程序，想第一時間發(fā)現程序異常，需要一套完備的監(jiān)控系統，能對運行現狀進行可視化展示，并及時探查到運行異常并精準告警，基于此需求，尚硅谷研發(fā)了這套監(jiān)控告警系統。這是一套集成了Zabbix+Grafana+睿象云的監(jiān)控告警系統，融合了當下流行的監(jiān)控系統Zabbix，使用了便捷的數據可視化工具Grafana，睿象云智能告警平臺可接入各類告警信息，提供了豐富的告警形式。本套教程細致講解了三大技術的部署配置與互相集成，手把手帶你實現一個功能完善、界面美觀、報警及時，對接多個接口的監(jiān)控系統。Zabbix是一款功能強大的監(jiān)控系統，具備采集信息、存儲信息、展示信息、報警通知等眾多功能；Grafana是網絡架構和應用分析中最流行的時序數據展示工具，目前支持絕大部分常用的時序數據庫； 睿象云智能告警平臺CA（Cloud Alert）可以快速接入各類告警信息，并配合分派策略、排班機制，以多種方式發(fā)出告警，廣泛提升告警管理能力。
尚硅谷_Kylin4.0Apache Kylin是一個開源的分布式分析引擎，為大數據開發(fā)人員提供Hadoop/Spark之上的SQL查詢接口，以及支持超大規(guī)模數據集的多維分析能力，在大數據領域有著廣泛的應用，是大數據開發(fā)人員的必備技能之一。本套視頻教程由Apache Kylin的開發(fā)團隊與尚硅谷聯合研發(fā)推出，對尚硅谷原Kylin教程進行了廣泛升級。Kylin版本升級為4.0，涵蓋了Kylin新版的重大功能升級，并將構建引擎和查詢引擎各種升級為Spark，將存儲由HBase升級為HDFS下的Parquet存儲，這三方面的升級大大提升了Kylin的Cube構建效率和查詢效率。教程詳細講解了Kylin 4.0的安裝部署過程，與其他框架的版本兼容性也進行了充分調研，并基于真實數據案例進行了實操演示。除此之外，教程中增加了由Kylin官方推薦使用的MDX for Kylin。MDX for Kylin是基于Mondrian二次開發(fā)，使用Apache Kylin作為數據源的MDX查詢引擎，可以集成多種數據分析工具，提供在大數據分析場景下更極致的體驗。教程基于真實數據，提供了詳盡的安裝、配置和使用講解。本次教程升級遵循原版視頻的理念，從前置基本概念入手，深入Kylin底層架構，詳解Cube構建算法，在實際應用層面多角度講解常用優(yōu)化手段。教程提供全套視頻、代碼、筆記和資料，一套教程帶你搞定Kylin！
尚硅谷_Hive源碼詳解Hive是大數據中一項重要的工具技術，無論是研讀源碼，還是建立一個匹配自有環(huán)境的Hive安裝包，掌握Hive的源碼編譯技術都很重要。本套教程以搭建Hive on Spark環(huán)境為主線，一步步演示Hive源碼的編譯過程，對編譯過程中會遇到的諸多問題進行了詳細解讀，包括解決組件兼容性問題的示例、修復已知Bug的示例等。同時，教程還講解了多種Hive使用場景的部署過程，并對Hive與Spark的版本兼容性問題進行了調研，是Hive使用的精細“說明書”。教程學習需要對Hadoop、Hive、Spark等大數據框架有一定的了解，需要能夠熟練使用Git/GitHub及Maven。
尚硅谷_數據湖HudiApache Hudi是新一代的流式數據湖平臺，其將數據庫和數據倉庫的核心功能直接引入數據湖，并提供了表、事務、高效的增刪改、高級索引、流式攝取、數據集群、壓縮優(yōu)化和并發(fā)控制等服務。Hudi在任何云平臺都能夠便攜地使用，高級的性能優(yōu)化可以對接Spark、Flink、Hive等任一款主流查詢引擎，并使工作更加高效。尚硅谷大數據教研團隊與Apache Hudi開發(fā)團隊共同合作，聯手推出了本套視頻教程。教程延續(xù)了尚硅谷一貫風格：保姆式講解，由淺入深，由點及面，娓娓道來，細致講解了Hudi的內部架構和核心概念；敗家式贈送，視頻、代碼、筆記、資料……幫助初學者輕松入門，快速上手。教程還詳細講解了Hudi與三大大數據計算引擎：Spark、Flink和Hive的對接過程，內容包括環(huán)境準備、多種對接方式、重點配置參數分析、進階調優(yōu)手段講解等，從入門到精通，可快速投入實際生產使用。
尚硅谷_數據湖IcebergIceberg是由Netflix開發(fā)的面向海量數據分析場景的數據組織形式，在眾多數據湖技術中獨樹一幟，目前已經晉升Apache重要項目，是各大互聯網公司的優(yōu)選數據湖技術，騰訊即選擇了Iceberg作為數據湖存儲引擎。本套教程由尚硅谷聯合Iceberg開發(fā)團隊共同推出。從Iceberg的技術特點和存儲結構入手展開講解，詳細介紹了與大數據主流框架的集成與使用，包括Hive、Spark SQL、Flink SQL、Flink DataStream，從簡單的安裝配置，到詳細的日常操作，再到解決集成中的各種問題，實用更實戰(zhàn)！教程延續(xù)了尚硅谷一貫的風格：保姆式講解，敗家式贈送。課程由淺入深，從理論到實操涵蓋全面，手把手教學，視頻、代碼、筆記、資料，一股腦全部送送送！
尚硅谷_GitGit是業(yè)界流行的分布式版本控制工具，主要用于管理項目中的源代碼文件，因其強大的代碼回溯、版本切換、多人協作、遠程備份等功能，在軟件開發(fā)中被廣泛使用，是程序員的必備技能之一。本套視頻教程基于新版Git，零基礎快速入門，從Git的基礎操作入手，逐步講解軟件中倉庫處理、文件處理、分支處理、標簽處理、多人協作、遠程處理等常用功能，以及使用開發(fā)工具集成第三方代碼托管平臺，深入講解Git指令操作。教程講授采用簡單直白的語言，以及圖形化和操作相結合的形式，快速直觀地帶你掌握Git基本功能，降低學習難度，縮減學習周期。讓你通過本套視頻課程的學習，輕松上手Git日常操作，快速融入到項目團隊中！
尚硅谷_Flink1.17Flink是一個開源的分布式流處理框架，適用于大規(guī)模數據的實時處理和批量處理。憑借批流統一、性能優(yōu)良、規(guī)模計算、生態(tài)兼容、高容錯等特點，Flink已然成為大數據領域的當紅炸子雞，被國內外眾多大廠所采用，如今掌握Flink的人才炙手可熱。本套教程基于Flink新版1.17進行講解，共分四大篇章：基礎篇、核心篇、高階篇、SQL篇，內容詳實，由淺入深，層層遞進，涵蓋Flink基本概念和核心組件的詳細介紹，包括流處理、窗口操作、狀態(tài)管理、容錯機制、連接器、SQL等。還是尚硅谷一貫的風格，保姆式講解，敗家式贈送。教程采用動畫講解重難點，通過大量的實戰(zhàn)案例演示，帶你掌握如何使用Flink構建可靠、高效的數據處理應用，從而快速解決面對海量數據時的挑戰(zhàn)。無論你是從事數據工程、數據分析還是數據科學方向，這套教程都將是你實現數據處理目標的有力助手！ 
尚硅谷_HiveSQLHQL刷題神器，帶你從入門到精通！教程基于Hive3.1.3版本，精心研發(fā)的一整套HQL練習題詳解，題目涵蓋初中高級各個不同難度的題型，適用于各個階段的大數據開發(fā)工程師，即可以從頭開始打通關，也可以需要哪里點哪里。尚硅谷一貫的風格，保姆式講解，贈送全套視頻、代碼、筆記、資料。教程對于HQL每一道練習題的講解，均含有需求分析和SQL書寫，并在課件中大量采用圖文演示每一步SQL處理后數據發(fā)生的變化，讓你對SQL的運行了如指掌，手把手帶你把控HQL！
尚硅谷_GreenPlumGreenPlum是基于PostgreSQL的開源大數據技術，被設計用于處理大規(guī)模數據倉庫和數據分析任務。作為分布式數據庫系統，GreenPlum支持高并發(fā)處理和大數據量存儲，結合PostgreSQL的靈活性與擴展性，通過高效的分布式架構提供強大的數據處理能力，在大數據領域廣受歡迎。本套教程主要涵蓋：GreenPlum基礎概念、架構特點、數據管理和函數的重點使用，以及大數據環(huán)境中的解決方案。通過這些知識模塊的學習，你將掌握GreenPlum在數據倉庫和數據分析中的應用。教程采用較新的穩(wěn)定版GreenPlum 6.x，課程內容系統且完整，講解由淺入深通俗易懂，還是尚硅谷一貫的風格，敗家式贈送，視頻、筆記、代碼、資料，一站式服務；保姆式講解，只要跟著學，沒有學不會！
尚硅谷_KafkaKafka是高吞吐量的分布式消息發(fā)布和訂閱系統，作為大數據領域全面且開源的分布式事件流平臺，已成為大數據從業(yè)人員的必備技能。Kafka在實時數據處理、消息隊列、流處理等領域具有廣泛的應用場景，由于其高性能、高可靠、高吞吐的特點，被廣泛應用于高性能的數據管道、流分析和數據集成等不同場景，在海量實時數據傳輸和事件驅動的微服務架構中也被廣泛使用。本套教程基于Kafka 3.6.1版本設計，零基礎入門，將理論、演示、源碼融合在一起講解，通過源碼演示效果，通過效果印證理論，再通過理論梳理源碼，讓整個Kafka的技術架構，更加清晰地呈現在你的面前。教程采用簡單直白的語言，以及圖形化與操作相結合的形式，快速直觀地講解Kafka核心功能，降低軟件本身的學習難度，縮減學習周期。你可以通過本套教程的學習，快速掌握Kafka核心組件的用法，理清核心數據的處理流程，并將Kafka應用于自己的項目中。教程內容按照數據在Kafka中傳輸流轉的過程設置：一，服務集群啟動，講解軟件啟動過程中各服務組件的關系；二，創(chuàng)建主題，用于對傳輸數據進行分類；三，生產數據，講解業(yè)務系統數據或待處理的數據傳輸到Kafka的流程，以及底層的實現原理；四，Kafka在接收到數據后，存儲數據的核心操作及流程；五，消費者從Kafka中獲取數據的方式及底層的操作流程。
尚硅谷_SparkSpark是專為大規(guī)模數據處理而設計的分析計算引擎。技術上，Spark是基于Hadoop MapReduce設計的通用并行框架，擁有其所具備的優(yōu)點，并采用內存的方式優(yōu)化了中間計算過程，大幅提高了計算效率，從而使Spark可以更好地應用在數據挖掘與機器學習等迭代式計算場景。應用上，Spark可以滿足大部分的離線數據分析場景和部分的實時數據分析場景，從而使Spark技術框架成為企業(yè)大數據離線處理技術的上選。本套教程基于Spark 3.3版本，使用Java語言，詳解了Spark技術生態(tài)的三個核心模塊：Spark Core核心模塊，講解Spark運行環(huán)境，以及分布式數據模型RDD的使用和原理；Spark SQL模塊，講解Spark在結構化數據場景中的使用方式，包括SQL語法、DSL語法、UDF函數、UDAF函數等；Spark Streaming模塊，講解Spark在流式數據處理中的使用方式，包括無界數據流的處理、Kafka系統的對接和數據窗口的應用等。授課方式上，還是一貫的將圖形、文字、源碼相結合的保姆式講解；配套資料上，還是一樣的敗家式贈送，視頻、課件、代碼、資料，全部送送送！力求讓學習者對分布式計算的原理、框架的使用建立深刻的理解，從而將Spark應用于企業(yè)的項目中。
項目實戰(zhàn)
尚硅谷_電商數倉2.0本套視頻教程從數據倉庫的架構搭建入手，穿插數據倉庫的重要理論知識，包括數倉建模、范式理論和同步策略等，讓你知其然更知其所以然。內容立足數據倉庫項目，循序漸進，強調基礎，注重應用，涵蓋數據倉庫建模理論介紹、電商業(yè)務理論介紹、數據抽取同步策略理論介紹、數倉分層詳解、電商需求詳解、使用Azkaban實現作業(yè)周期性執(zhí)行、三種即席查詢系統探討研究、Superset實現數據大屏展示等。講解遵循真實項目開發(fā)的全流程：分析項目需求、敲定項目架構、打通數據流、實現具體分析需求、進行可視化展示、完善數據治理方面功能……教程從服務器選型到需求實現思路講解、框架安裝、工具使用、內核介紹，內容無所不包，技術點覆蓋廣泛。整套項目的業(yè)務指標近100個、Shell腳本40多個、用戶行為原始表11張，業(yè)務原始表24張、數倉總表近100張！Superset、Kylin、Druid、Presto、Atlas等前沿技術打包講解，緊跟技術潮流。本套教程適合具有一定編程基礎的大數據初學者，以及想深入了解數據倉庫理論知識與搭建實現的大數據從業(yè)人員，跟隨本套教程學習可以完整搭建一套數據倉庫，獲得從0到1搭建數據倉庫的各種技能點！
尚硅谷_電商數倉3.0數倉3.0視頻教程重磅來襲！3.0版框架版本廣泛升級：Hadoop-3.1.3、Hive-3.1.2、Flume-1.9.0、Kafka-2.4.1、Hive計算引擎升級為Spark3.0，用戶行為日志重新設計……超大杯294集的滿足感，視頻、代碼、資料、筆記，盡在其中！本套視頻教程從數據倉庫的架構搭建入手，實現了數據倉庫項目的閉環(huán)，從數據采集到數倉建模到數倉應用各種涵蓋。主要內容包括：用戶行為日志及業(yè)務數據庫的數據采集、數據倉庫中的分層模型及維度建模、企業(yè)具體需求實現及可視化展示、即席查詢引擎的搭建及使用、集群監(jiān)控等，從服務器選型到需求實現思路講解、框架安裝、工具使用、內核介紹，內容完整，理論與實踐并重，通俗易懂，實現思路清晰明了。教程適合具有一定編程基礎的大數據初學者，以及想深入了解數據倉庫理論知識與搭建實現的大數據從業(yè)人員，跟隨本套教程學習可以完整搭建一套數據倉庫，獲得從0到1搭建數據倉庫的各種技能點！說明：當下企業(yè)中2.0和3.0并存，學習者可以根據需要，選擇2.0或3.0來學習。
尚硅谷_尚品匯（電商數倉4.0）數據倉庫項目在整個大數據體系中的重要性不言而喻，是入行大數據的敲門磚，是整個大數據體系的基石。尚硅谷大數據新升級的離線數據倉庫項目：尚品匯，由尚硅谷研究院精心研發(fā)，不僅僅是一個大數據項目，尚硅谷的Java團隊和前端團隊也各種參與其中，按照真實的項目開發(fā)流程，實現與Java和前端的無縫互聯，歷時半年精心打磨，傾力推出！教程涵蓋Apache生態(tài)系統的各種主流技術：Hadoop、Hive、Spark、Flume、Kafka、Azkaban、Zookeeper、Sqoop、Atlas、Kylin、Presto、Kerberos、Ranger、Zabbix等，均采用了穩(wěn)定版。數據治理內容更加廣泛，搭建Kerberos+Ranger的一體化權限管理系統，使用Python+Shell腳本實現自動化數據質量監(jiān)控，使用Zabbix+Grafana實現集群性能監(jiān)控，采用目前企業(yè)主流的元數據管理應用Atlas實現了數據血緣管理，保障了數倉的安全性、一致性和可靠性。數據倉庫建模理論是整個數據倉庫的核心部分，本套視頻教程對數據倉庫理論部分進行了大幅擴充，對維度建模、關系建模理論的講解更加透徹，新增了數據倉庫理論熱門名詞概念講解。通過本套教程的學習，你可以掌握數據倉庫建模的各種理論知識，從零開始搭建一套數據倉庫系統，掌握主流的大數據相關技術，對數據倉庫的整體構架有一個完整的認識。本套教程的數據倉庫項目與企業(yè)真實項目無縫對接，實現需求的思路可直接嫁接至現實工作中，可以為你在大數據開發(fā)過程中遇到難題提供更多的解決問題思路。本套教程延續(xù)了往期數據倉庫視頻的特點，講解細致清楚，每一條SQL語句，每一行代碼都講得明明白白，教程配套的項目源碼、文檔資料、軟件安裝包等均可免費獲取。教程適合具備一定大數據技術基礎的學習者，需掌握Linux的日常操作，了解Hadoop生態(tài)的基礎框架。
尚硅谷_電商項目（實時處理）項目為使用Spark Streaming技術開發(fā)的大數據實時處理平臺，主要用于互聯網電商企業(yè)對各種用戶行為進行復雜的分析，將統計分析的結果以接口或圖形化的方式展示出來，輔助產品經理、數據分析師以及管理人員分析現有產品的情況，并根據用戶行為分析結果持續(xù)改進產品的設計，以及調整公司的戰(zhàn)略和業(yè)務，最終達成用大數據技術幫助公司提升業(yè)績、營業(yè)額以及市場占有率的目標。視頻總時長50小時+，附贈各種教輔資料，含筆記、代碼、資料、工具等。通過本套項目講解視頻學習，可掌握企業(yè)中使用Spark Streaming進行實時計算的完整流程，并掌握整個環(huán)節(jié)中涉及的各類框架技術，例如高可用的大數據采集框架、高并發(fā)的分布式消息隊列、基于內存的高吞吐實時計算技術、海量存儲、毫秒級查詢的數據庫等。內容特點：1、企業(yè)級大數據項目開發(fā)流程貫穿每個業(yè)務模塊的講解，囊括需求分析、方案設計、數據設計、編碼實現、測試以及性能調優(yōu)等環(huán)節(jié)，廣泛還原真實大數據項目的開發(fā)流程，對實時業(yè)務中涉及的雙流Join以及Kafka精準一次性消費的問題進行了細致的講解；2、使用SpringBoot對用戶行為數據進行采集；3、通過Canal和Maxwell對業(yè)務數據庫進行采集；4、將數據采集到分布式消息隊列Kafka，并在Kafka中進行分層處理，主要分為ODS、DWD、DWS、ADS層；5、使用當前最火爆的Spark Streaming搭建高吞吐的數據實時處理模塊；6、選用ElasticSearch和ClickHouse作為最終的實時數據處理結果的存儲位置，并從中獲取數據進行展示，進一步降低響應時間對數據進行分析；7、可視化展示使用ElasticSearch+Kibnana、自定義數據接口+可視化項目以及阿里巴巴的DataV進行可視化展示。適合人群：有Scala編程基礎，項目使用Scala語言進行開發(fā)；了解Spark編程；熟悉常用的技術框架，如Kafka、HBase等（相關技術教程可通過尚硅谷官網免費獲取）。
尚硅谷_大數據電信客服案例通信運營商每時每刻會產生大量的通信數據，例如通話記錄，短信記錄，彩信記錄，第三方服務資費等等繁多信息。數據量如此巨大，除了要滿足用戶的實時查詢和展示之外，還需要定時定期的對已有數據進行離線的分析處理。電信客服綜合案例就是以此為切入點所開發(fā)的大數據實戰(zhàn)案例。在本課程中，你將學習到，項目架構搭建，數據生產，數據消費，數據分析，以及數據展示等項目核心業(yè)務功能的實現。學習過程中，我們將使用Flume，Kafka，HBase，Hadoop,Echarts,Crontab等大數據框架完成整個業(yè)務的實現，并在學習過程中對各個框架的應用和原理進行梳理和剖析。
尚硅谷_實時項目Spark StreamingSpark Streaming是Spark核心API的一個擴展，可以實現高吞吐量、具備容錯機制的實時流數據處理。本套視頻教程以Spark Streaming為主線，實時計算的各個組件為支線，圍繞著實時的定義、如何實現實時、怎么保證實時等一系列熱點話題展開講解，手把手帶你搭建一套完整可用的實時計算項目。教程涵蓋實時計算的各個重要組件：Spark Streaming、Kafka、Redis、ElasticSearch、SpringBoot等，以企業(yè)實際生產環(huán)境為背景，企業(yè)實際需求為例，詳細講解了實時計算的各個環(huán)節(jié)，從不同角度給出多種解決方案，并確定最優(yōu)方案。教程內容從0到1，逐行代碼逐行注釋搭建實時計算項目，廣泛提升你的代碼功底。附贈全套教程資料：視頻、講義、源碼、筆記、軟件包等，通過本套教程的學習，你將會對實時計算有更加深刻的領會，在未來的實時處理領域助你一臂之力。
尚硅谷_機器學習與推薦系統實戰(zhàn)伴隨著大數據時代的到來，作為發(fā)掘數據規(guī)律的重要手段，機器學習已經受到了越來越多的關注。而作為機器學習算法在大數據上的典型應用，推薦系統已成為各行業(yè)互聯網公司營銷體系中不可或缺的一部分，而且已經帶來了真實可見的收益。目前，推薦系統和機器學習已經成為各大公司的發(fā)力重點，眾多知名公司（如亞馬遜、netflix、facebook、阿里巴巴、京東、騰訊、新浪、頭條等）都在著眼于將蘊含在龐大數據中的寶藏發(fā)掘出來，懂機器學習算法的大數據工程師也成為了新時代的緊缺人才。尚硅谷精心打造出了機器學習與推薦系統課程，將機器學習理論與推薦系統項目實戰(zhàn)并重，對機器學習和推薦系統基礎知識做了系統的梳理和闡述，并通過電影推薦網站的具體項目進行了實戰(zhàn)演練，為有志于增加大數據項目經驗、擴展機器學習發(fā)展方向的工程師提供更好的學習平臺。本課程主要分為兩部分，機器學習和推薦系統基礎，與電影推薦系統項目實戰(zhàn)。第一部分主要是機器學習和推薦系統基礎理論的講解，涉及到各種重要概念和基礎算法，并對一些算法用Python做了實現；第二部分以電影網站作為業(yè)務應用場景，介紹推薦系統的開發(fā)實戰(zhàn)。其中包括了如統計推薦、基于LFM的離線推薦、基于模型的實時推薦、基于內容的推薦等多個模塊的代碼實現，并與各種工具進行整合互接，構成完整的項目應用。通過理論和實際的緊密結合，可以使學員對推薦系統這一大數據應用有充分的認識和理解，在項目實戰(zhàn)中對大數據的相關工具和知識做系統的回顧，并且可以掌握基本算法，入門機器學習這一領域，為未來發(fā)展提供更多的選擇，打開通向算法工程師的大門。誰適合學:1. 有一定的 Java、Scala 基礎，希望了解大數據應用方向的編程人員2. 有 Java、Scala 開發(fā)經驗，了解大數據相關知識，希望增加項目經驗的開發(fā)人員3. 有較好的數學基礎，希望學習機器學習和推薦系統相關算法的求職人員
尚硅谷_大數據項目實戰(zhàn)：電商推薦系統如今大數據已經成了各大互聯網公司工作的重點方向，而推薦系統可以說就是大數據更好的落地應用之一，已經為企業(yè)帶來了可觀的用戶流量和銷售額。特別是對于電商，好的推薦系統可以大大提升電商企業(yè)的銷售業(yè)績。國內外的知名電商，如亞馬遜、淘寶、京東等公司，都在推薦系統領域投入了大量研發(fā)力量，也在大量招收相關的專業(yè)人才。尚硅谷打造的電商推薦系統項目，就是以經過修改的中文亞馬遜電商數據集作為依托，并以某電商網站真實的業(yè)務架構作為基礎來實現的，其中包含了離線推薦與實時推薦體系，綜合利用了協同過濾算法以及基于內容的推薦方法來提供混合推薦。具體實現的模塊主要有：基于統計的離線推薦、基于隱語義模型的離線推薦、基于自定義模型的實時推薦，以及基于內容的、和基于Item-CF的離線相似推薦。整個項目具有很強的實操性和綜合性，對已有的大數據和機器學習相關知識是一個系統性的梳理和整合，通過學習，同學們可以深入了解推薦系統在電商企業(yè)中的實際應用，可以為有志于增加大數據項目經驗的開發(fā)人員、特別是對電商業(yè)務領域感興趣的求職人員，提供更好的學習平臺。適合人群：1.有一定的 Java、Scala 基礎，希望了解大數據應用方向的編程人員2.有 Java、Scala 開發(fā)經驗，了解大數據相關知識，希望增加項目經驗的開發(fā)人員3.有電商領域開發(fā)經驗，希望拓展電商業(yè)務場景、豐富經驗的開發(fā)人員4.有較好的數學基礎，希望學習機器學習和推薦系統相關算法的求職人員
尚硅谷_基于阿里云搭建數據倉庫（離線）一、項目簡介該項目由阿里云大學和尚硅谷聯合打造。本項目教程以國內電商巨頭實際業(yè)務應用場景為依托，同時以阿里云ECS服務器為技術支持，緊跟大數據主流場景，對接企業(yè)實際需求，對電商數倉的常見實戰(zhàn)指標進行了詳盡講解，讓你迅速成長，獲取更前沿的技術經驗。二、項目架構版本框架：Flume、DateHub、DataWorks、MaxCompute、MySql以及QuickBI等；Flume：大數據領域被廣泛運用的日志采集框架；DateHub：類似于傳統大數據解決方案中Kafka的角色，提供了一個數據隊列功能。對于離線計算，DataHub除了供了一個緩沖的隊列作用。同時由于DataHub提供了各種與其他阿里云上下游產品的對接功能，所以DataHub又扮演了一個數據的分發(fā)樞紐工作；據上傳和下載通道，提供SQL及MapReduce等多種計算分析服務，同時還提供完善的安全解決方案；DataWorks：是基于MaxCompute計算引擎，從工作室、車間到工具集都齊備的一站式大數據工廠，它能幫助你快速完成數據集成、開發(fā)、治理、服務、質量、安全等全套數據研發(fā)工作；QuickBI & DataV：專為云上用戶量身打造的新一代智能BI服務平臺。三、項目場景數倉項目廣泛應用于大數據領域，該項目技術可以高度適配電商、金融、醫(yī)療、在線教育、傳媒、電信、交通等各領域；四、項目特色本課程結合國內多家企業(yè)實際項目經驗。從集群規(guī)模的確定到框架版本選型以及服務器選型，手把手教你從零開始搭建基于阿里云服務器的大數據集群。采用阿里云ECS服務器作為數據平臺，搭建高可用的、高可靠的Flume數據采集通道，運用阿里云DateHub構建中間緩沖隊列并擔任數據分發(fā)樞紐將數據推送至阿里自主研發(fā)的DataWorks對數據進行分層處理，采用MaxCompute作為處理海量數據的方案，將計算結果保存至MySQL并結合阿里的QuickBI工作做最終數據展示。
尚硅谷_基于阿里云搭建數據倉庫（實時）本套課程由阿里云大學和尚硅谷聯合打造，以國內電商巨頭實際業(yè)務應用場景為依托，以阿里云框架為技術支持，緊跟大數據主流場景，對接企業(yè)實際需求，對電商實時數倉的搭建進行了詳細講解。課程內容結合國內多家企業(yè)實際項目經驗，從框架版本選型、系統架構設計、業(yè)務流程設計，手把手帶你從零開始完成基于阿里云的實時數倉項目。（版本框架：RDS、DataHub、DTS、實時計算、DataWorks、DataV等）
尚硅谷_Flink實時數倉在大數據處理領域，實時和離線各占非常大的比重，本套視頻教程綜合展示實時數據處理領域的一個重要應用：實時數倉項目。項目從數據采集開始，分別講解了針對不同數據采取的不同采集策略，使用的不同數據采集工具。在數據處理部分，將實時采集的數據按照數據建模要求進行合理分層，使用當前最火熱的實時計算引擎Flink，對實時計算結果進行可視化展示。內容包括：搭建用戶行為數據的實時數據采集框架Flume-Kafka-Flink；采用Canal、Maxwell、Flink CDC三種方案實現業(yè)務數據的實時采集；分層搭建實時數據倉庫，包括ODS層、DWD層、DIM層、DWM層、DWS層、ADS層；數據可視化接口的實現；ClickHouse技術的深入講解……每一部分講解均參照實際開發(fā)環(huán)境，提供了多種問題的解決方案，引導學員對問題進行更深層的思考。通過本套教程的學習，你將掌握企業(yè)實際開發(fā)中實時數倉搭建的全流程，深入理解Flink的高階應用實例，掌握開發(fā)環(huán)節(jié)多種框架技術。教程總計40小時+，附贈各種視頻、代碼、筆記及資料。教程涵蓋的關鍵技術點：數倉架構深入講解、離線架構與實時架構對比分析、SpringBoot項目搭建講解、Nginx安裝配置使用、Flink CDC深入案例分析、Maxwell與Canal對比分析、使用側輸出流分流操作、Flink與HBase交互、Flink狀態(tài)編程應用、Flink CEP循環(huán)模式匹配、雙流join、旁路緩存、異步IO編碼、ClickHouse多引擎講解、Flink SQL、數據可視化接口編寫、Flink實戰(zhàn)優(yōu)化方案等。
尚硅谷_Flink實時數倉3.0Flink實時數倉項目3.0，依托于真實電商巨頭的電商體系和實際業(yè)務場景，并參照離線數倉的建模理論全力打造。新版項目重磅升級，在延續(xù)實用與硬核的基礎上，全面升級了實時數倉的建模理論，建模體系更完善，數據分析更高效。項目采用Flink作為核心的實時計算引擎，充分利用Flink的優(yōu)秀特性：狀態(tài)編程、自定義處理函數、CEP、CDC等，對每一個指標的計算提供了基礎API和Flink SQL兩種實現方式。使用Maxwell作為業(yè)務數據采集框架，實時監(jiān)控業(yè)務數據庫變動情況。同時，充分探討了多種大數據框架工具，如Redis、HBase、ClickHouse等，利用每個框架的特點發(fā)揮效用。通過本套教程的學習，你將掌握企業(yè)實際開發(fā)過程中實時數倉的全流程搭建，深入理解Flink的高階應用，掌握開發(fā)環(huán)節(jié)的多種框架技術！Flink實時數倉項目3.0與電商數倉5.0項目（即將發(fā)布）無縫對接，采用相同的數據源及數據采集體系，便于系統性學習。教程內容涵蓋：搭建用戶行為數據的實時數據采集框架Flume-Kafka-Flink；采用Maxwell搭建業(yè)務數據采集體系；使用Flink CDC結合配置表、HBase完成數倉DIM層的搭建；參照數倉建模理論，分層搭建實時數倉，包括DWD層、DWS層、ADS層；使用SpringBoot編寫數據接口，結合Sugar完成實時指標結果數據的可視化展示等。教程關鍵技術點：數倉架構深入講解、離線架構與實時架構對比分析、SpringBoot項目搭建講解、Flink CDC深入案例分析、使用側輸出流分流操作、Flink與HBase交互、Flink狀態(tài)編程應用、Flink CEP循環(huán)模式匹配、雙流Join、旁路緩存、異步IO編碼、ClickHouse多引擎講解、Flink SQL、數據可視化接口編寫、Flink實戰(zhàn)優(yōu)化方案等。
尚硅谷_電商數倉5.0數據倉庫項目在整個大數據體系中的重要性不言而喻，是入行大數據的敲門磚，是整個大數據體系的基石。尚硅谷經典之作再次重大升級，離線數倉5.0項目攜四大升級震撼來襲！升級一：修改業(yè)務數據采集系統！引入實時業(yè)務數據采集技術Maxwell和Canal，使用DataX替換Sqoop，實時監(jiān)測業(yè)務數據庫變動情況，舍棄原有每天一同步的思路，數據采集更全、更準確、更流暢！升級二：數倉建模理論更豐富廣泛！基于數倉建模大神Bill Inmon和Ralph Kimball的經典建模理論，結合阿里巴巴成熟的數倉構建實踐，梳理出通用的數倉建模步驟，精簡數倉建模體系，新增指標體系構建過程，升級了一套更具權威性且實操性更強的數倉建模理論體系。升級三：更換為更易用、更前沿、更受歡迎的任務流調度系統DolphinScheduler，不再需要單獨編寫任務流配置文件，真正做到拆箱即用！升級四：數倉整體表格數量大幅增加！完善需求場景，增加主題域和業(yè)務過程，更貼近企業(yè)實戰(zhàn)，數倉更大更完善！通過本套教程的學習，你可以掌握數倉建模的各種理論知識，從零開始搭建一套離線數倉系統，掌握主流的大數據相關技術，對數倉的整體構架有一個完整的認識。本套教程的數倉項目與企業(yè)真實項目無縫對接，實現需求的思路可直接嫁接至現實工作中，可以為你在大數據開發(fā)過程中遇到難題提供更多的解決問題思路。項目適合具備一定大數據技術基礎的人群學習，至少掌握SQL的寫法、Linux的基本用法，對Hadoop生態(tài)的基礎框架有一定了解。
尚硅谷_湖倉一體項目隨著數據湖技術的更新迭代，以Hudi為代表的項目架構已初步成型。本套教程詳細介紹了如何搭建湖倉一體的整合項目，教程基于尚硅谷離線數倉項目5.0架構，以及數據建模的基礎原理，帶你完成一套比離線數倉更具時效性的湖倉一體架構。教程內容分為四部分：數據湖與數倉的區(qū)別與聯系、項目環(huán)境介紹、湖倉分層數據計算、結果可視化展示。教程針對流式計算的統計和聚合給出了具體的解決方案，在維度關聯中給出了應對不同生產場景的兩種解決方案，供你在生產環(huán)境中選擇使用。
尚硅谷_騰訊云實時數倉本套教程由尚硅谷大數據研究院與騰訊云官方聯合推出，依托國內電商巨頭的真實業(yè)務場景，基于各大互聯網企業(yè)對于騰訊云EMR架構體系的需求，將整個電商的實時數據倉庫體系搭建在騰訊云架構上。教程完成了整個實時數據倉庫架構的海量數據采集、存儲、計算以及可視化展示，整個業(yè)務流程全部搭建在騰訊云服務器上，并全部采用騰訊云EMR的服務組件，將各騰訊云EMR服務組件進行充分聯動。項目文檔按照出書標準編寫，詳細講解一行一行手敲代碼，內容全面且細致，教程附贈全套視頻、文檔、代碼、資料。通過本套教程的學習，你可以全方位掌握騰訊云的大數據服務組件使用和調優(yōu)。
尚硅谷_騰訊云離線數倉騰訊云EMR是由騰訊云打造的線上租賃式大數據解決方案平臺，一站式高效部署。使用便攜，沒有繁瑣的配置文件，直接線上修改配置；應用靈活，可以選擇騰訊云提供的服務，也可以自行安裝搭建服務。本套教程是由尚硅谷及騰訊云官方聯合推出的離線數倉項目，基于騰訊云EMR平臺打通數據采集通道，從數倉建模到逐層構建離線數倉，擁有完整的數倉建模理論及建模過程，且在構建過程中采用了騰訊云EMR平臺組件和原生組件相結合的方式，讓企業(yè)在組件選擇上更加靈活。項目文檔按照出書標準編寫，詳細講解一行一行手敲代碼，內容全面且細致，教程附贈全套視頻、代碼、筆記、資料。通過本套教程的學習，你可以全方位掌握騰訊云的大數據服務組件使用和調優(yōu)。
尚硅谷_九章云臺為了滿足前臺的快速迭代需求和后臺的穩(wěn)定性需求，中臺概念應運而生?；ヂ摼W時代，實現數據驅動、智能預判需求、快速響應創(chuàng)新，成為企業(yè)實現持續(xù)發(fā)展的關鍵節(jié)點，眾多互聯網大廠通過中臺來實現數字化升級。九章云臺是尚硅谷精心打造的一個技術中臺項目，帶你從零開始體驗中臺項目的開發(fā)流程，包括了權限管理、實時數據大盤、報表管理、任務調度、Hive元數據分析、數據庫的表級血緣關系計算等眾多功能實現。項目特點：使用新版本SpringBoot 3.0和Java19編寫后端；使用Java生態(tài)中的定時調度庫Quartz實現任務調度模塊，為學習者理解復雜的任務調度工具如AirFlow或Dolphin Scheduler奠定了堅實的基礎；使用廣為使用的語法分析器生成器Antlr4分析數據血緣；使用最新版Neo4j圖數據庫持久化計算出血緣關系圖；使用Raw JDBC風格編寫所有Crud代碼，方便學習者理解及后續(xù)進一步優(yōu)化。 
尚硅谷_廣告數倉項目廣告數倉項目以廣告主投放到媒體平臺為業(yè)務基礎，收集管理平臺數據及媒體平臺發(fā)送的廣告曝光點擊次數之后，進行數據分析與統計，實現可視化報表展示。項目共分六大部分：廣告業(yè)務詳情介紹、數倉建模原理介紹、數倉集群部署和環(huán)境搭建、數倉數據分析及ETL完整流程、DolphinScheduler全流程調度、FineBI可視化大屏展示，是一套完整的數倉項目，學習者部署本地虛擬機即可實現全部項目流程。教程介紹了媒體投放廣告的詳細流程，幫助學習者了解廣告投放業(yè)務體系，掌握ETL流程中常用的技術手段。項目中使用的框架包括：Hadoop、Hive、Spark、Kafka、Flume、Datax、ClickHouse、DolphinScheduler、FineBI等。
尚硅谷_在線教育項目尚硅谷經過長期的精心打磨，仔細推演，隆重推出在線教育大數據項目！本套教程堪稱在線教育行業(yè)大數據處理領域的重磅之作，項目借助真實在線教育行業(yè)的海量業(yè)務數據和用戶日志數據，構建了完整的數據采集、分析、處理、展示通道，嚴格遵循主流數據倉庫建模理論，搭建了高效率、高組織性、高可實施性的數倉架構體系。教程共分三大部分：采集系統、離線數倉、實時數倉。項目擁有完善的離線指標體系和實時指標體系，各指標體系均進行了完整的指標拆解與分析，形成了龐大的指標網絡。涵蓋40多個Shell腳本，5大類用戶行為日志數據，30多張業(yè)務數據原始表格，100多張數倉分層表，分析展示了上百個離線指標、幾十個實時指標。項目采用MaxWell和DataX作為數據采集工具，靈活設計數據采集策略，將采集來的數據同時服務于離線數倉和實時數倉。結合阿里巴巴成熟的數倉構建實踐，總結出一套數倉建模理論體系，并梳理出通用的數倉建模步驟。分別使用Hive和Flink構建離線數倉和實時數倉，采用了流行的任務流調度系統DolphinScheduler。還是尚硅谷一貫的風格，保姆式講解，敗家式贈送，項目以細致入微的教學方式，手把手帶你輕松掌握在線教育大數據處理的要領，更好地應對行業(yè)挑戰(zhàn)和變革！
尚硅谷_物流數倉項目尚硅谷經過長期的精心打磨，仔細推演，隆重推出物流大數據項目！本套教程堪稱物流行業(yè)大數據處理領域的重磅之作，項目借助真實物流行業(yè)的海量業(yè)務數據，構建了完整的數據采集、分析、處理、展示通道，嚴格遵循主流數據倉庫建模理論，搭建了高效率、高組織性、高可實施性的數倉架構體系。教程共分三大部分：采集系統、離線數倉、實時數倉。項目擁有完善的離線指標體系和實時指標體系，各指標體系均進行了完整的指標拆解與分析，形成了龐大的指標網絡。涵蓋30多個Shell腳本，30多張業(yè)務數據原始表格，100多張數倉分層表，分析展示了上百個離線指標、幾十個實時指標。項目采用FlinkCDC和DataX作為數據采集工具，靈活設計數據采集策略，將采集來的數據同時服務于離線數倉和實時數倉。結合阿里巴巴成熟的數倉構建實踐，總結出一套數倉建模理論體系，并梳理出通用的數倉建模步驟。分別使用Hive和Flink構建離線數倉和實時數倉，采用了流行的任務流調度系統DolphinScheduler。還是尚硅谷一貫的風格，保姆式講解，敗家式贈送，項目以細致入微的教學方式，手把手帶你輕松掌握物流大數據處理的要領，更好地應對行業(yè)挑戰(zhàn)和變革！ 
尚硅谷_新能源汽車數倉新能源汽車數倉項目共分三大部分：數倉采集環(huán)境搭建、數倉分層計算、FineBI可視化大屏展示。項目的核心內容為汽車行駛連續(xù)日志的數據分析，采用了數倉模型拆解業(yè)務及特定模型構建的形式，完成需求指標的分析計算。項目帶你從0到1完成數倉框架環(huán)境搭建、數倉建模分析，以及最終數據的可視化展示，了解數倉建模理論體系及實際應用，并為連續(xù)的日志分析提供了有效解決方法。還是尚硅谷一貫的風格，保姆式講解，敗家式贈送，學習者部署本地虛擬機參照視頻及教輔資料即可實現全部項目流程。項目中使用的框架包括：Hadoop、Hive、Spark、Kafka、Flume、Datax、DolphinScheduler、FineBI、ZooKeeper等。 
尚硅谷_線上問診離線數倉項目本套項目教程以線上問診為基礎業(yè)務，真實還原了線上問診平臺對于用戶數據的分析和統計，并以大屏展示的方法呈現數據分析的結果。線上問診離線數倉項目共分四大部分：數倉建模原理介紹、數倉模型搭建、DolphinScheduler全流程調度、SuperSet可視化大屏展示。項目以線上問診采集項目為前置基礎，使用線上問診采集項目的基礎架構，將數據導入數倉中，對數據進行系統化的分析計算，得到指標需求結果。項目中使用的框架包括：Hadoop、Hive、Spark、Kafka、Flume、Flink-CDC、Datax、DolphinScheduler、SuperSet等。通過本套視頻教程的學習，你將徹底了解數倉建模理論體系，深入認識線上問診平臺的業(yè)務理論體系。
尚硅谷_線上問診實時數倉項目線上問診實時數倉項目延續(xù)了離線數倉的業(yè)務邏輯，以線上問診開處方為基礎業(yè)務邏輯，真實表現了線上問診數據的實時分析統計。線上問診實時數倉項目共分三大部分：實時數倉架構介紹、數倉模型搭建、Suger可視化大屏展示。項目以線上問診采集項目為前置基礎，使用采集項目中搭建的虛擬機環(huán)境，讀取采集項目實時監(jiān)控的業(yè)務數據，對數據進行實時的分析計算，最終得到指標需求結果。項目中使用的框架包括：Hadoop、Kafka、Flume、Maxwell、Flink、HBase、Phoenix、Redis、Doris、Suger等。教程通過精煉的業(yè)務體系邏輯，帶你快速掌握實時數倉所使用的技術手段！ 
尚硅谷_金融審批離線數倉金融審批數倉項目共分三大部分：數倉采集環(huán)境搭建、數倉分層計算、SuperSet可視化大屏展示。項目的核心內容為金融審批業(yè)務的連續(xù)階段性分析，采用了特殊的事實表建模完成里程碑生命周期業(yè)務的便捷統計。教程帶你從0到1完成數倉框架環(huán)境搭建、數倉建模分析，以及數據的可視化展示。幫助學習者深入了解數倉建模理論體系及實際應用，對金融系統中特殊的階段性業(yè)務分析，提供了有效的解決方法。還是尚硅谷一貫的風格，保姆式講解，敗家式贈送，一站式學習，學習者參照視頻及教輔資料即可實現全部項目流程！
尚硅谷_車險離線數倉車險離線數倉項目共分三大部分：數倉采集環(huán)境搭建、數倉分層計算、SuperSet可視化大屏展示。項目的核心內容為對汽車保險核心業(yè)務的交易域、理賠域進行統計分析。教程帶你從0到1完成數倉框架環(huán)境搭建、數倉建模分析，以及數據的可視化展示。幫助學習者深入了解數倉建模理論體系及實際應用。還是尚硅谷一貫的風格，保姆式講解，敗家式贈送，一站式學習，學習者參照視頻及教輔資料即可實現全部項目流程！項目中使用的框架包括：Hadoop、Kafka、Flume、Hive、DataX、DolphinScheduler、Maxwell、Zookeeper、SuperSet等。教程通過精煉的業(yè)務體系邏輯，帶你快速掌握離線數倉所使用的技術手段！ 
尚硅谷_金融審批實時數倉金融審批實時數倉項目共分三大部分：實時數倉架構介紹、數倉模型搭建、Sugar可視化大屏展示。金融審批實時數倉項目延續(xù)了離線數倉的業(yè)務邏輯，以金融租賃業(yè)務線為主題，從審批流程一直到設備租賃，完整地對金融租賃業(yè)務進行了各個流程的實時數據分析。項目以金融審批采集項目為前置基礎，使用采集項目中搭建的虛擬機環(huán)境，讀取采集項目實時監(jiān)控的業(yè)務數據，對數據進行實時的分析計算，得到指標需求結果，寫出到Doris之后，使用Sugar進行可視化展示。項目使用的框架包括：Hadoop、Kafka、Flume、Maxwell、Flink、HBase、Phoenix、Redis、Doris、Sugar等。整套教程通過精煉的業(yè)務體系邏輯，幫助學習者快速掌握實時數倉所使用的技術手段。
尚硅谷_MaxCompute阿里云離線數倉本套教程由尚硅谷與阿里云聯手打造！以國內電商巨頭實際業(yè)務應用場景為依托，采用阿里云DataWorks大數據平臺為技術支持、MaxCompute作為處理海量數據的方案、QuickBI做數據展示，對電商數倉的常見實戰(zhàn)指標進行了詳盡講解。教程從集群規(guī)模的確定，到框架版本選型以及服務器選型，手把手教你從零開始搭建基于阿里云服務器的大數據集群。緊跟時代主流場景，對接企業(yè)實際需求，技術高度適配電商、金融、醫(yī)療、在線教育、傳媒、電信、交通等眾多領域，讓你快速掌握最前沿的技術！阿里云官方訓練營：https://edu.aliyun.com/trainingcamp/352804學習福利：阿里云相關產品免費試用、達成學習目標獲阿里云訓練營結營證書、尚硅谷講師與阿里云大數據專家定期答疑、專屬學習社群交流互動、活動獎品多多！
尚硅谷_Hologres&Flink阿里云實時數倉教程由尚硅谷與阿里云聯手打造，是繼阿里云離線數倉教程之后的又一力作。項目以國內電商巨頭實際業(yè)務應用場景為依托，采用阿里云Hologres實時數倉與Flink云服務，構建高性能的實時數倉分析系統，緊跟時代主流場景，對接企業(yè)實際需求，讓你快速掌握阿里云生態(tài)，獲取技術經驗！教程結合國內多家企業(yè)實際項目經驗，使用Flink結合DataHub數據總線，將存儲在數據庫中的業(yè)務數據推送至Hologres實時數倉中，對數據進行分層處理，采用Flink云服務作為處理海量數據的方案，將計算結果保存至Hologres并結合阿里云DataV做數據展示，對電商數倉的常見實戰(zhàn)指標進行了詳盡講解。阿里云官方訓練營：https://edu.aliyun.com/trainingcamp/352900學習福利：阿里云相關產品免費試用、達成學習目標獲阿里云訓練營結營證書、尚硅谷講師與阿里云大數據專家定期答疑、專屬學習社群交流互動、活動獎品多多！
尚硅谷_電商數倉6.0數據倉庫（以下簡稱數倉）在大數據體系中的重要性不言而喻，是入行大數據的敲門磚，是整個大數據體系的基石。尚硅谷大數據拳頭項目：電商離線數倉，經典再度進化，6.0版本攜四大升級震撼來襲！升級一：版本更新！全部框架版本整體升級，并充分調研框架版本之間的兼容性，提供編譯后的源碼及安裝包，讓你學習無后顧之憂。升級二：講解更細！SQL重點知識講解，均有配圖，思路剖析圖文并茂，細致入微，更方便理解，帶你輕松領悟SQL編寫的核心奧義。升級三：架構更穩(wěn)！電商離線數倉項目歷經多次迭代，設計堪稱數倉經典，更加穩(wěn)固，適配各種規(guī)模類型的企業(yè)數倉建設，學習之后可以觸類旁通，舉一反三。升級四：理論更扎實！項目參考阿里巴巴大數據之路的經典數倉理論進行構建，兼容并包大數據領域大神Bill Inmon和Ralph Kimball的經典建模理論，梳理構建出一套完整可實施的數倉構建步驟。經過多年的驗證升級，更加扎實可靠。通過本套教程的學習，你可以掌握數倉建模的各種理論知識，從零開始搭建一套離線數倉系統，掌握主流的大數據相關技術，對數倉的整體構架有一個完整的認識。本套教程的數倉項目與企業(yè)真實項目無縫對接，實現需求的思路可直接嫁接至現實工作中，可以為你在大數據開發(fā)過程中遇到難題提供更多的解決問題思路。教程前置知識：掌握Linux服務器使用、Shell指令的常見操作，Hadoop、Flume、Kafka等框架的基本使用，Hive基礎SQL語法和常用函數。
尚硅谷_快餐數倉本套項目教程以快餐點餐為基礎業(yè)務，真實還原了快餐點餐平臺對于用戶數據的分析和統計，并以大屏展示的方法呈現了數據分析的結果?？觳碗x線數倉項目分為四大部分：數倉建模原理介紹、數倉模型搭建、DolphinScheduler全流程調度、FineBI可視化大屏展示。項目以快餐采集項目為前置基礎，在此基礎上將數據導入數倉當中，對數據進行系統化的分析計算，得到指標需求結果。項目使用框架包括：Hadoop、Hive、Spark、Kafka、Flume、DataX、DolphinScheduler、FineBI等。通過本套教程的學習，你將系統了解數倉建模理論，深入認識快餐平臺的業(yè)務理論體系。 
尚硅谷_Flink實時數倉4.0新版本！新內容！Flink實時數倉項目4.0帶來新升級，對標企業(yè)實際開發(fā)場景，為你帶來不一樣的學習體驗！本套項目教程以電商采集項目為前置基礎，整體內容分為三大部分：實時數倉架構介紹、數倉模型搭建、Suger可視化大屏展示。教程通過精煉的業(yè)務體系邏輯，帶你快速掌握實時數倉所使用的技術手段。使用到的框架包括：Hadoop、Kafka、Flume、Maxwell、Flink、HBase、Redis、Doris、Suger、StreamPark等。相較于Flink實時數倉項目3.0版本，本項目采用企業(yè)級分模塊開發(fā)部署方式，使用了新版的Flink 1.17，自主部署了GitLab，同時采用GitFlow任務流的形式，來對整體項目進行版本控制，采用StreamPark框架，將整個項目在線部署至YARN集群，提供在線監(jiān)控、自動告警等功能。
尚硅谷_Flink實時數倉5.0在當今電商行業(yè)競爭激烈的環(huán)境下，數據實時處理與分析成為企業(yè)取得成功的關鍵因素之一。實時處理領域，Flink被普遍認為是下一代大數據流計算引擎，本項目基于Flink實現電商實時數倉，利用Flink強大的功能，實時采集、處理和存儲電商業(yè)務中的海量數據，并為企業(yè)提供了全面、深入的數據分析能力。教程通過思路分析、畫圖演示、代碼開發(fā)等多維方式，對數倉的構架過程及整體實現進行了詳細的講解。相較于實時數倉項目4.0，升級了項目架構設計和各個軟件的版本，并采用GitFlow任務流的形式對整體項目進行版本控制，使用StreamPark對項目進行部署和監(jiān)控。項目采用的軟件及版本：Flink 1.17.1、Hadoop 3.3.4、Flume 1.10.1、Zookeeper 3.7.1、Kafka 3.6.1、Maxwell 1.29.2、Redis 6.0.8、HBase 2.4.11、Doris 2.1.0、StreamPark 2.1.4、FlinkCDC 2.4.2、MySQL 8.0.31等。
技術豐富
尚硅谷_IDEA安裝與使用IDEA全稱IntelliJ IDEA，是Java語言開發(fā)的集成環(huán)境。因功能強悍且設置人性化，IDEA在業(yè)內被廣為使用，堪稱程序員居家旅行必備的Java開發(fā)利器。本套教程采用IDEA2022.x版本（兼容JDK17），從IDEA的安裝和設置入手，詳解IDEA中工程與模塊的結構、代碼模板的設置與使用、斷點調試、快捷鍵使用、Maven工程與Web工程的搭建、數據庫的關聯、常用熱點插件使用等共計12大專題內容?？祹煾党銎罚貙倬?。還是一樣的配方，還是熟悉的味道，視頻、課件、代碼、資料、軟件，只有你想不到，沒有康師傅給不到，送送送，送到你心動！無論是初學Java的菜鳥，還是習慣了其它IDE開發(fā)工具的老鳥，都可以通過本套教程快速上手IDEA。
尚硅谷_圖解Java數據結構和算法1.算法是程序的靈魂，優(yōu)秀的程序在對海量數據處理時，依然保持高速計算，就需要高效的數據結構和算法支撐。2.網上數據結構和算法的課程不少，但存在兩個問題：1)授課方式單一，大多是照著代碼念一遍，數據結構和算法本身就比較難理解，對基礎好的學員來說，還好一點，對基礎不好的學生來說，基本上就是聽天書了2)說是講數據結構和算法，但大多是掛羊頭賣狗肉，算法講的很少。 本課程針對上述問題，有針對性的進行了升級3)授課方式采用圖解+算法游戲的方式，讓課程生動有趣好理解4)系統廣泛的講解了數據結構和算法, 除常用數據結構和算法外，還包括程序員常用10大算法：二分查找算法（非遞歸）、分治算法、動態(tài)規(guī)劃算法、KMP算法、貪心算法、普里姆算法、克魯斯卡爾算法、迪杰斯特拉算法、弗洛伊德算法、馬踏棋盤算法?？梢越鉀Q面試遇到的最短路徑、最小生成樹、最小連通圖、動態(tài)規(guī)劃等問題及衍生出的面試題，讓你秒殺其他面試小伙伴3.如果你不想永遠都是代碼工人，就需要花時間來研究下數據結構和算法。教程內容：本教程是使用Java來講解數據結構和算法，考慮到數據結構和算法較難，授課采用圖解加算法游戲的方式。內容包括: 稀疏數組、單向隊列、環(huán)形隊列、單向鏈表、雙向鏈表、環(huán)形鏈表、約瑟夫問題、棧、前綴、中綴、后綴表達式、中綴表達式轉換為后綴表達式、遞歸與回溯、迷宮問題、八皇后問題、算法的時間復雜度、冒泡排序、選擇排序、插入排序、快速排序、歸并排序、希爾排序、基數排序(桶排序)、堆排序、排序速度分析、二分查找、插值查找、斐波那契查找、散列、哈希表、二叉樹、二叉樹與數組轉換、二叉排序樹(BST)、AVL樹、線索二叉樹、赫夫曼樹、赫夫曼編碼、多路查找樹(B樹B+樹和B*樹)、圖、圖的DFS算法和BFS、程序員常用10大算法、二分查找算法(非遞歸)、分治算法、動態(tài)規(guī)劃算法、KMP算法、貪心算法、普里姆算法、克魯斯卡爾算法、迪杰斯特拉算法、弗洛伊德算法馬踏棋盤算法。學習目標：通過學習，學員能掌握主流數據結構和算法的實現機制，開闊編程思路，提高優(yōu)化程序的能力。
尚硅谷_Redis7名師力作，彪悍升級！升級一：Redis7新特性一網打盡多AOF文件支持、config命令增強、限制客戶端內存使用、Client-eviction、listpack緊湊列表調整、訪問安全性增強ACLV2、Redis Functions、RDB保存時間調整、命令新增和變動、性能資源利用率、安全等，統統收入教程中！升級二：教程知識覆蓋面廣分為基礎篇+高階篇兩部分，小白可以打通關，從入門到精通；老鳥可以直接高階篇走起，從源碼級深度學習Redis，剖析大廠落地真實案例，從熟手變專家。只此一套打包帶走，讓你徹底掌握Reids知識體系！升級三：大廠面試真題講解十大專題分類講解：BigKey專題、緩存雙寫一致性專題、大數據統計類專題、新類型專題、布隆過濾器專題、緩存預熱-雪崩-穿透-擊穿專題、Redis分布式鎖專題、Redlock算法專題、Redis源碼專題、IO多路復用專題。刷完面試不慫，Offer拿到手軟！升級四：互聯網企業(yè)真實案例剖析 分享大廠企業(yè)級解決方案，包括：美團App查找附近的酒店、騰訊微信紅包、頭條抖音推送播放去重、新浪微信好友關系、天貓聚劃算業(yè)務等。不懼實戰(zhàn)，升職加薪！還是陽哥的配方，還是你熟悉的課程，管生又管養(yǎng)，管殺又管埋，上了陽哥的車，一路火花帶閃電，學成達到阿里P6-P7的水平，成為炙手可熱的NoSQL高級開發(fā)人員！
尚硅谷_Docker近年來，容器技術在互聯網行業(yè)大火，特別是在開發(fā)和運維方向，極大地解決了規(guī)模化和靈活化部署的問題，作為容器技術的代表作Docker更是被廣泛應用。本套教程為2018版尚硅谷Docker經典視頻的新升級，基礎篇進行了更加細致且深度的講解，并新增了大廠進階篇，技術點從入門到高級廣泛覆蓋！教程同時適用于零基礎小白和已熟悉Docker的使用者，可各取所需，有選擇性和針對性的學習，哪里不會點哪里?；A篇自容器和鏡像的概念講起，從Docker開發(fā)環(huán)境的搭建，到容器倉庫的管理操作，再到日常開發(fā)軟件部署等均有詳細講解，通過案例驅動，落地阿里庫和私有庫的鏡像推送，完成容器協作流程。進階篇詳解億級分布式緩存的集群容器化部署案例，Dokcerfile的語法編寫，結合微服務發(fā)布鏡像到Docker的實戰(zhàn)需求，同時升級docker-compose完成一鍵部署多個微服務，再用Portainer和CAdvisor+InfluxDB+Granfana完成容器的可視化統計和監(jiān)控配置。通過本套教程的學習，你將系統掌握容器技術，從Docker菜鳥到Docker老鳥，成為云原生時代的高級開發(fā)人員！
尚硅谷_Elasticsearch7.x+8.x在數據大爆炸的時代，快速準確地查詢到目標數據尤為重要，對此Elasticsearch交出的答卷無疑非常搶眼。Elasticsearch是一個基于Lucene庫的全文搜索引擎框架，是經典實時日志分析技術架構ELK平臺的核心框架。本套教程分別講解了Elasticsearch 7.x和8.x，兼顧了主流應用和新技術。第教程第一部分（第1-62集），由淺入深講解了Elasticsearch7.8的開發(fā)應用、核心原理以及與其他經典數據分析引擎Spark、Flink的集成方式。對Elasticsearch基礎概念：Restful、倒排索引、JSON等進行說明，使用不同方式（HTTP、Java API）不同的角度（設計、原理）講解軟件的核心操作，對Elasticsearch在不同環(huán)境（Windows、Linux）下的部署進行演示，體會不同模式（單點、集群）的區(qū)別。并講解了Elasticsearch的設計思想及核心概念，將Elasticsearch和Spring框架集成，與主流的數據分析引擎相結合，實現生產環(huán)境中代碼操作，并重點講解了Elasticsearch的優(yōu)化和常見面試題。教程第二部分（第63-103集），Elasticsearch8.0發(fā)布后，新版本增加了大量的新功能和新特性，在速度、擴展、高相關性和簡單性方面開啟了一個新的時代。教程從實操、應用、特性三大方面對Elasticsearch8.1進行了廣泛講解，內容囊括了：新老版本的對比及使用上的變化，Elasticsearch8.1的部署演示及注意事項，并著重介紹了安全認證的軟件集成訪問，Elasticsearch的核心功能及評分機制的公式，Elasticsearch的優(yōu)化和特性等。
尚硅谷_Kubernetes（k8s）新版Kubernetes（簡稱k8s）是谷歌開源的一套容器化集群管理系統，當下已被眾多大廠及中小企業(yè)采用，容器化技術是目前的大勢所趨。本套教程k8s版本升級為新版1.18.0，內容由淺入深，且更加深化細節(jié)，對于開發(fā)者大大提高了友好度，增加了項目實戰(zhàn)部署。教程完整演示了一個真實的項目從零開始部署到k8s集群，包括項目打包、制作鏡像、部署過程等。教程總計64個視頻，全長15小時，贈送課程資料及筆記，全套教程分為五大部分：一、k8s概念和架構二、從零搭建k8s集群通過集群部署工具kubeadm和二進制方式兩種搭建方式，讓學習者熟練掌握kubernetes的搭建過程和集群內部架構。三、K8s核心概念包含最小部署單元Pod、控制器Controller、Service、Ingress對外暴露端口、集群安全機制RBAC、持久化存儲PV和PVM、Helm工具使用等。四、搭建集群監(jiān)控平臺系統五、從零搭建高可用k8s集群教程所需前置知識：1、需具備Linux環(huán)境及掌握Linux常見操作2、需掌握Docker技術
尚硅谷_ORACLE、SQL、PLSQL本套Java視頻教程橫掃每個技術點，內容涵蓋Oracle數據的安裝、配置及日常的數據庫管理，SQL內容精講精練，并涵蓋約束、SET運算符和高級子查詢，以及PL/SQL的實戰(zhàn)使用。每個技術點均以目前新版本設計，結合企業(yè)應用的實用性加以修訂。
尚硅谷_SVN核心SVN(Subversion)是目前使用廣泛的版本控制軟件，作為CVS的繼任者，它在很多方面都具有鮮明的特色，提供了更好的操作體驗，很好的解決了在實際的企業(yè)開發(fā)過程中諸如：數據備份、代碼還原、協同修改、版本管理、追溯問題代碼的編寫人和編寫時間以及權限控制等問題。在本套視頻中通過幾個生動的小故事引出協同開發(fā)中存在的問題，從而體會SVN的作用，最終落實到常用的SVN操作。手把手教你安裝服務器端程序、配置版本庫、操作客戶端界面，幫你破繭成蝶，完成蛻變?yōu)镈eveloper的第一步。
尚硅谷_JUC線程高級本Java視頻主要講授Java JUC線程部分的內容：針對 Java 5.0 提供的 java.util.concurrent （簡稱 JUC ）包中的線程的高級應用。 在此包中增加了在并發(fā)編程中常用的實用工具類，用于定義類似于線程的自定義子系統，包括線程池、異步 IO 和輕量級任務框架。提供可調的、靈活的線程池。還提供了設計用于多線程上下文中的 Collection 實現等。
尚硅谷_Flink1.13（Scala版）如今的大數據技術應用場景，對實時性的要求越來越高。作為新一代大數據流處理框架，Flink已經成為各大公司實時領域的發(fā)力重點。越來越多的公司將實時項目向Flink遷移，國內以阿里為代表的一眾大廠貢獻了大量源碼，Flink社區(qū)也在快速發(fā)展壯大。Flink能夠提供毫秒級別的延遲，同時保證了數據處理的低延遲、高吞吐和結果的正確性，還提供了豐富的時間類型和窗口計算、Exactly-once語義支持，還可以進行狀態(tài)管理，并提供了CEP（復雜事件處理）的支持。Flink已被認為是大數據實時處理的方向和未來，掌握Flink的人才炙手可熱。尚硅谷精心打造推出了新版Flink（Scala）教程，基于Flink 1.13版本，各種代碼使用Scala語言編寫，可讀性更強，更易于上手。教程對Flink底層原理和API做了詳細梳理和闡述，并基于電商應用場景給出了大量應用案例代碼。教程分為四大篇章：一、基礎篇（1-4章）：Flink快速上手Flink部署提交和運行時架構，初步掌握Flink的原理和用法。二、核心篇（5-6章）：系統學習Flink APIFlink核心層API：DataStream API，包括基本的轉換操作和窗口使用，并著重介紹Flink中時間語義和水位線（Watermark）的概念和原理。三、高階篇（7-10章）：Flink高階用法更加底層的API，Flink的處理函數（Process Function）、多流轉換操作、狀態(tài)編程和容錯機制等。通過高階篇學習，可以解決Flink實際應用中大多數問題，并更深刻地理解Flink有狀態(tài)流處理的本質。四、擴展篇（11-12章）：Flink SQL和CEP高層級的API，擴展篇的講解中，面向應用層提供了大量方便的接口用法，在實際項目中有著廣泛應用。
尚硅谷_Oozie視頻教程Oozie是大數據生態(tài)圈中一個基于工作流的任務調度工具，也是大數據工程師的一個常用工具。在本課程中，你將學習到Oozie的原理、安裝配置、使用Oozie實現調度Shell腳本、邏輯調度多個Shell腳本、直接調度MapReduce任務以及定時邏輯調度多個任務等。
尚硅谷_玩轉Scala數據結構和算法算法是程序的靈魂，為什么有些程序可以在海量數據計算時，依然保持高速計算,大家可能會說: 程序使用了內存計算框架(比如Spark)和緩存技術(比如Redis等),那再深入的思考一下，這些計算框架和緩存技術又是怎樣被技術高手設計出來的呢? 拿實際工作經歷來說, 在Unix下開發(fā)服務器程序，功能是要支持上千萬人同時在線， 在上線前，做內測，一切OK,可上線后，服務器就支撐不住了, 公司的CTO對代碼進行優(yōu)化，再次上線，堅如磐石。那一瞬間,你就能感受到程序是有靈魂的，就是算法。如果你不想永遠都是代碼工人,那就花時間來研究下數據結構和算法吧.本課程是使用Scala語言來講解數據結構和算法，內容包括: 稀疏數組、單向隊列、環(huán)形隊列、單向鏈表、雙向鏈表、環(huán)形鏈表、約瑟夫問題、棧、表達式的轉換與求值、遞歸與回溯、迷宮問題、冒泡排序、選擇排序、插入排序、快速排序、歸并排序、排序速度分析、二分查找、散列、哈希表、二叉樹、二叉樹與數組轉換、二叉排序樹(BST)、其它二叉樹介紹(AVL 線索二叉樹 赫夫曼樹)。通過學習，學員能掌握主流數據結構的實現機制,開闊編程思路，提高優(yōu)化程序的能力。
尚硅谷_DataXDataX是阿里巴巴開源的異構數據源離線同步工具，致力于實現多種數據庫與各種異構數據源之間穩(wěn)定高效的數據同步功能。作為離線數據同步框架，DataX采用Framework + plugin架構構建，將數據源讀取和寫入抽象成為Reader/Writer插件，納入到整個同步框架中。目前DataX已經有了比較廣泛的插件體系，主流的關系型數據庫、NoSQL、大數據計算系統都已接入。本套視頻教程從DataX安裝部署開始講起，詳細講解了MySQL、Oracle、MongoDB、SQLServer、DB2等數據庫的數據同步操作，且不囿于安裝操作，更深入內核源碼，解讀數據同步的執(zhí)行流程，并對DataX的使用優(yōu)化進行深入調研，提供了多種常見優(yōu)化方案。教程附贈各種配套的課件和軟件，一套教程，帶你輕松玩轉DataX。
尚硅谷_StreamXStreamX是一款優(yōu)秀的Flink&Spark極速開發(fā)框架與一站式大數據流處理平臺。開發(fā)者在使用StreamX時只需編寫簡單的配置文件，即可實現多個開箱即用功能的復用，通過簡潔易用的Web頁面，即可實現開發(fā)任務的編譯、部署與管理監(jiān)控。StreamX的初衷是讓Flink&Spark開發(fā)變得更簡單。使用StreamX進行開發(fā)，可以降低學習成本與開發(fā)難度，大大簡化Flink&Spark任務的日常操作和維護工作，讓開發(fā)者可以只關注核心業(yè)務。2021年11月18日，StreamX成功入選2021年度最有價值開源項目。尚硅谷本著非精品不用的原則，與StreamX創(chuàng)作團隊達成合作，針對StreamX1.2.2版本，尚硅谷大數據團隊研發(fā)了配套的視頻教程，提供給各位開發(fā)者學習使用。
尚硅谷_SeaTunnelSeaTunnel是一個非常易用的支持海量數據實時同步的超高性能分布式數據集成平臺，是首個來自中國的數據集成平臺成功進入Apache孵化器的項目，它架構于Spark和Flink之上，每天可以穩(wěn)定高效同步數百億數據。SeaTunnel使用控制翻轉的設計模式，用戶使用SeaTunnel時只需編寫一份配置文件，SeaTunnel就會將配置文件翻譯為一個Spark或Flink任務來完成數據的同步和計算。除了大大簡化分布式數據處理難度外，SeaTunnel還可以解決的問題：數據丟失與重復、任務堆積與延遲、吞吐量低、應用到生產環(huán)境周期長、缺少應用運行狀態(tài)監(jiān)控。尚硅谷研發(fā)的SeaTunnel視頻教程，基于SeaTunnel 2.1.0版講解，內容涵蓋SeaTunnel的框架設計和核心源碼。Flink源碼貢獻者Tony老師，以一個真實的案例，細致講解了程序員如何邁出自己參與開源社區(qū)的第一步，成為一名源碼貢獻者。教程內容梗概：1. SeaTunnel概述2. SeaTunnel快速上手案例3. SeaTunnel工作流4. SeaTunnel源碼講解5. SeaTunnel應用案例6. 如何參與開源社區(qū)
尚硅谷_DorisDoris是百度大數據部門研發(fā)的一個大規(guī)模并行處理的分析型數據庫產品，在大數據領域已有非常廣泛的應用。Doris可以對接多種數據源，滿足多種數據分析需求，僅需亞秒級響應時間即可獲得查詢結果。Doris具有優(yōu)良的分布式查詢規(guī)劃能力，在實時數據分析領域有良好的應用前景，可以提供穩(wěn)定的OLAP分析能力，是大數據從業(yè)人員需要掌握的一種硬核工具。本套視頻教程由尚硅谷大數據教研團隊與Doris開發(fā)團隊共同開發(fā)。教程從Doris的架構講起，細致入微地介紹了Doris的安裝部署過程，以及在測試環(huán)境與實際開發(fā)環(huán)境中的部署配置。對Doris的使用進行了詳細講解，內容包括數據表的創(chuàng)建、數據的查詢、數據的導入與導出、與Spark和Flink等外部系統的集成、與監(jiān)控報警系統的集成等。除此之外，教程還著重講解了Doris在使用過程中的優(yōu)化與常見注意事項，讓你在完成本套教程學習后可以快速投入實際生產使用。
尚硅谷_AzkabanAzkaban是Linkedin公司推出的一個任務調度系統，目前在企業(yè)中應用非常廣泛。對于大數據項目而言，工作流之間互相依賴且通常在零點左右調度執(zhí)行，一個可以完善部署工作流且能實現報警功能的調度系統十分重要。本套教程重點講解Azkaban的安裝部署及進階使用，內容涵蓋：工作流調度系統簡介、常見工作流調度系統對比；Azkaban安裝部署；Azkaban復雜工作流的配置部署，工作流配置文件的編寫規(guī)則；Azkaban工作流失敗重試機制及定時調度；Azkaban郵件報警；Azkaban電話報警等。本套教程為老版教程的新升級，基于Azkaban版本3.x講解；引入了官方推薦的結構更清晰、功能更豐富的flow2.0；增加了更多類型的工作流案例，講解更廣泛；根據企業(yè)實際需求新增了條件工作流；新增了郵件報警，電話報警配置更加高效。
尚硅谷_TelegrafTelegraf是一個開源的插件化數據收集軟件，側重時序數據收集，如主機的CPU、內存、網絡等指標，以及物聯網場景下各種傳感器的數據上報。Telegraf已擁有200多種指標采集插件和40多種輸出插件，幾乎覆蓋了各種的監(jiān)控項。本套視頻延續(xù)了尚硅谷一貫的保姆式教程風格，案例驅動講解，從入門級的簡單案例上手，層層遞進，徐徐展開，細致講解了Telegraf的配置文件編寫方式，并充分展示了Telegraf的Pipeline式架構。教程深入剖析了Telegraf插件系統的拓展，授之以魚更授之以漁，教你如何根據生產環(huán)境自定義編寫插件。教程內容還包含：Telegraf的內部數據結構（InfluxDB行協議）深入講解，Telegraf命令行使用全講解，獲取Telegraf遠程配置全流程，集成官方未提供的外部插件，Telegraf與Prometheus集成使用等。講解循序漸進，從入門到進階，帶你徹底玩轉Telegraf！
尚硅谷_InfluxDBInfluxDB是一款用Go語言編寫的時序數據庫，使用在運維與IOT領域來完成監(jiān)控報警任務。對于時序數據場景來說，InfluxDB有著很高的寫入、查詢與數據壓縮性能，并且可以讓你快速高效地開展對時序數據的分析工作。本套教程延續(xù)了尚硅谷一貫的保姆式風格，用一個個示例帶你了解InfluxDB的世界，手把手教你用InfluxDB搭建一個實時報警系統。熱門技術傾囊相授，教輔資料慷慨相贈，視頻、代碼、筆記、軟件，一站式提供！本套教程與尚硅谷之前發(fā)布的Telegraf教程是姊妹課程，學成之后，可以使用InfluxDB生態(tài)直接實現時序數據場景的大多數需求。
尚硅谷_Airflow調度選得好，下班回家早；調度用得對，半夜安心睡。Airflow是一款Python語言編寫的工作流調度器，支持使用Python多種類庫，以DAG的形式設計任務依賴，并且支持多并發(fā)調度任務。本套教程使用Miniconda部署Pyhton 3.8虛擬環(huán)境，采用Airflow 2.4.3，根據生產要求修改底層數據庫為MySQL，更改執(zhí)行器為本地執(zhí)行器。教程分為四個部分：Airflow概述、安裝部署、使用優(yōu)化、案例展示，帶你根據開發(fā)需求修改調度腳本完成Airflow部署！
尚硅谷_FilebeatFilebeat是一款輕量級日志采集器，支持抓取自身節(jié)點中多種框架的系統日志，發(fā)送到下游的Logstash、Elasticsearch、kafka等框架，簡化了日志收集、解析和可視化的過程。本套教程使用Filebeat 8.5.2，展示抓取不同場景的日志，并與多款框架進行整合操作。教程分為三個部分：Filebeat概述、安裝部署、案例展示，幫助你根據開發(fā)中的日志收集處理情況進行實際開發(fā)使用。 
尚硅谷_CDH6.3.2Cloudera Manager是一個擁有集群自動化安裝、中心化管理、集群監(jiān)控和報警功能的大數據集群管理工具。本套教程基于Cloudera Manager 6.3.1，并使用當下備受企業(yè)青睞的CDH 6.3.2，部署于阿里云ECS服務器之上，實現大數據集群的快速自動化安裝部署，搭建完成一個功能全面的企業(yè)級離線數據倉庫。教程依托真實電商環(huán)境，參考眾多大廠項目架構，沿用了尚硅谷離線數據倉庫5.0項目。搭建的功能模塊囊括：用戶行為數據采集、業(yè)務數據采集、數據倉庫分層搭建、全流程自動化調度、報表數據可視化、安全認證、權限管理等。項目功能完善，講解詳細深入。教程主要內容包括：CDH與Cloudera Manager介紹、阿里云部署CDH各功能模塊的流程詳解、離線數倉的搭建全流程。
尚硅谷_Hive on Spark調優(yōu)本套視頻教程是基于Hive on Spark版本的離線數倉調優(yōu)指南，通過對Yarn配置、Spark配置、Hive SQL中聚合優(yōu)化、分組優(yōu)化和并行度優(yōu)化等方式，結合代碼和具體參數詳細介紹如何進行離線數倉的調優(yōu)。教程特色：一、真實，采用阿里云服務器，配置拉滿；二、數據體量大，以電商表為模板，單表數據量達160G；三、調優(yōu)手段多，從聚合、Join等多方面著手，調優(yōu)效果明顯。學習前置知識：Hive、Spark、離線數倉。
尚硅谷_NiFiNifi是由Apache提供的一款開源數據同步框架，以簡單易用、功能強大、完全分布式著稱，具有官方提供的WebUI界面，對于數據的流向和轉換情況一目了然。本套教程介紹Nifi的部署與使用，講解Nifi新版1.19.1的集群化證書驗證的安裝部署，同時基于企業(yè)開發(fā)中的實際應用場景，來幫助你快速上手Nifi。教程分為三部分：Nifi簡介、Nifi部署、案例應用。其中，部署采用了官方工具驗證證書的完全分布式部署，并在實際案例中提供了具體問題的解決辦法。
尚硅谷_數據接口發(fā)布與接收案例在數據工程師的工作中，相當一部分任務需要為外部系統提供數據支持，包括查詢畫像、BI報表等，有時甚至需要接收外部系統發(fā)送的數據，將其處理或轉儲，例如對接日志服務器，將日志實時清洗后存入Kafka。本套教程面向偏科的大數據工程師，尤其是JavaWeb應用開發(fā)薄弱的大數據工程師。從0到1，講解如何基于主流的大數據工作場景，例如，從存儲離線數倉Ads層數據的MySQL中，從存儲實時數倉Ads層數據的ClickHouse中，以及從即席查詢的ElasticSearch、HBase、Redis中查詢指定的數據，發(fā)布數據接口。發(fā)布的數據接口可以為第三方的程序或BI大屏，提供實時請求的數據支撐。本套教程包含兩部分內容：第一部分，是數據接口發(fā)布的基礎背景知識講解，3小時快速掌握常用的Mybatis和SpringBoot開發(fā)常識；第二部分，是數據接口發(fā)布和接收的案例講解，3.5小時，通過9個案例，講解如何開發(fā)數據接口工程，如何對接多種數據源，如何對接外部BI系統，以及如何接收對接日志服務器轉存到Kafka。主流大數據工作環(huán)境下的數據接口發(fā)布與接收技巧，通過本套教程的學習，6.5小時即可快速掌握！
尚硅谷_DinkyDinky為Apache Flink而生，讓Flink SQL縱享絲滑。顧名思義，Dinky是一個小而美的框架，它基于 Apache Flink 二次開發(fā)，無侵入，開箱即用，是易擴展的一站式 FlinkSQL & SQL DataOps，可以很大程度上提高我們的開發(fā)效率。本套教程由尚硅谷與Dinky官方聯合推出，視頻及教輔資料全部經過官方審核，是一套內容即全且細的權威教程！基于Flink 1.17.0和Dinky 0.7.3講解，技術前沿，內容詳實。秉持尚硅谷的老傳統，保姆式講解，手把手教學，按照教程步驟，甚至直接復制粘貼即可順暢使用，讓你的Dinky學習So easy！
尚硅谷_Apache PaimonApache Paimon是一個流數據湖平臺，是Streaming實時計算能力和Lakehouse新架構優(yōu)勢的結合，具有高速數據攝取、變更日志跟蹤和高效的實時分析能力。Paimon是由Flink社區(qū)內部孵化而來，原名Flink Table Store（簡稱FTS），是Flink的子項目。2023年3月12日，捐贈給Apache軟件基金會后改名Apache Paimon。本套教程內容涵蓋Paimon的核心特點：統一批處理和流處理、數據湖能力、各種合并引擎、變更日志生成、豐富的表類型、模式演化等。內容講解基于各個軟件的新版本：Paimon 0.5 SNAPSHOT、Flink 1.17.0、Hive 3.1.3、Spark 3.3.1。還是尚硅谷一貫的風格，教輔資料敗家式贈送，手把手教學保姆式講解，Paimon上手，一套帶走！