Spark

課程介紹

Spark是專為大規(guī)模數(shù)據(jù)處理而設(shè)計的分析計算引擎。

技術(shù)上，Spark是基于Hadoop MapReduce設(shè)計的通用并行框架，擁有其所具備的優(yōu)點，并采用內(nèi)存的方式優(yōu)化了中間計算過程，大幅提高了計算效率，從而使Spark可以更好地應(yīng)用在數(shù)據(jù)挖掘與機器學(xué)習(xí)等迭代式計算場景。

應(yīng)用上，Spark可以滿足大部分的離線數(shù)據(jù)分析場景和部分的實時數(shù)據(jù)分析場景，從而使Spark技術(shù)框架成為企業(yè)大數(shù)據(jù)離線處理技術(shù)的上選。

本套教程基于Spark 3.3版本，使用Java語言，詳解了Spark技術(shù)生態(tài)的三個核心模塊：Spark Core核心模塊，講解Spark運行環(huán)境，以及分布式數(shù)據(jù)模型RDD的使用和原理；Spark SQL模塊，講解Spark在結(jié)構(gòu)化數(shù)據(jù)場景中的使用方式，包括SQL語法、DSL語法、UDF函數(shù)、UDAF函數(shù)等；Spark Streaming模塊，講解Spark在流式數(shù)據(jù)處理中的使用方式，包括無界數(shù)據(jù)流的處理、Kafka系統(tǒng)的對接和數(shù)據(jù)窗口的應(yīng)用等。

授課方式上，還是一貫的將圖形、文字、源碼相結(jié)合的保姆式講解；配套資料上，還是一樣的敗家式贈送，視頻、課件、代碼、資料，全部送送送！力求讓學(xué)習(xí)者對分布式計算的原理、框架的使用建立深刻的理解，從而將Spark應(yīng)用于企業(yè)的項目中。
?