零基础入门Spark--极客时间课程推荐/优惠

你将获得：

• 快速构建 Spark 核心知识体系；
• Spark 三大计算场景案例实操；
• 逐句注释的保姆级代码讲解；
• 在故事中搞懂 Spark 开发实战技巧。

说到学习Spark，如果你对“Spark还有那么火吗？会不会已经过时了？”这个问题感到困惑，那大可不必。

因为经过十多年的发展，Spark已经由当初的“大数据新秀”成长为数据应用领域的中流砥柱，早已成为各大头部互联网公司的标配。比如，字节跳动、美团、Netflix等公司基于Spark构建的应用，在为公司旗下的核心产品提供服务。

这也就意味着，对于数据应用领域的任何一名工程师来说，Spark开发都是一项必备技能。

虽然Spark好用，而且是大数据从业者的一门必修课，但对于入门这件事儿，却也面临着这样一些难题：

• 学习资料多且杂，自己根本就梳理不出脉络，更甭提要构建结构化的知识体系了。
• 学习Spark，一定要先学Scala吗？新学一门编程语言，真不是件容易的事儿。
• Spark的开发算子太多，记不住，来了新的业务需求，又不知道该从哪里下手。
• ……

那么，该如何解决这些问题，从而打开Spark应用开发的大门呢？

为此，我们邀请到了吴磊老师。他会结合自己这些年学习、应用和实战Spark的丰富经验，为你梳理一套零基础入门Spark的“三步走”方法论：熟悉Spark开发API与常用算子、吃透Spark核心原理、玩转Spark计算子框架，从而帮助你零基础上手Spark 。

这个“三步走”方法论再配合4个不同场景的小项目，吴磊老师会从基本原理到项目落地，带你深入浅出玩转Spark。

课程模块设计

结合Spark最常用的计算子框架，这门课设计为4个模块，它与“三步走”方法论的对应关系如下：

基础知识模块：从一个叫作“Word Count”的小项目开始，详细地讲解RDD常用算子的含义、用法与适用场景，以及RDD编程模型、调度系统、Shuffle管理、内存管理等核心原理，帮你打下坚实的理论基础。

Spark SQL模块：从“小汽车摇号”项目入手，带你熟悉Spark SQL开发API，为你讲解Spark SQL的核心原理与优化过程，以及Spark SQL与数据分析有关的部分，如数据的转换、清洗、关联、分组、聚合、排序，等等。

Spark MLlib模块：从“房价预测”这个小项目入手，带你了解Spark在机器学习中的应用，深入学习Spark MLlib丰富的特征处理函数和它支持的模型与算法，并带你了解Spark + XGBoost集成是如何帮助开发者应对大多数的回归与分类问题。

Structured Streaming模块：重点讲解Structured Streaming是怎么同时保证语义一致性与数据一致性的，以及如何应对流处理中的数据关联，并通过Kafka + Spark这对“Couple”的系统集成，来演示流处理中的典型计算场景。

开篇词

• 开篇词 | 入门Spark，你需要学会“三步走”

基础知识

• 01｜Spark：从“大数据的Hello World”开始
• 02 | RDD与编程模型：延迟计算是怎么回事？
• 03 | RDD常用算子（一）：RDD内部的数据转换
• 04 | 进程模型与分布式部署：分布式计算是怎么回事？
• 05 | 调度系统：如何把握分布式计算的精髓？
• 06 | Shuffle管理：为什么Shuffle是性能瓶颈？
• 07 | RDD常用算子（二）：Spark如何实现数据聚合？
• 08 | 内存管理：Spark如何使用内存？
• 09 | RDD常用算子（三）：数据的准备、重分布与持久化
• 10 | 广播变量 & 累加器：共享变量是用来做什么的？
• 11 | 存储系统：数据到底都存哪儿了？
• 12 | 基础配置详解：哪些参数会影响应用程序稳定性？

Spark SQL

• 13 | Spark SQL：让我们从“小汽车摇号分析”开始
• 14 | 台前幕后：DataFrame与Spark SQL的由来
• 15 | 数据源与数据格式：DataFrame从何而来？
• 16 | 数据转换：如何在DataFrame之上做数据处理？
• 17 | 数据关联：不同的关联形式与实现机制该怎么选？
• 18 | 数据关联优化：都有哪些Join策略，开发者该如何取舍？
• 19 | 配置项详解：哪些参数会影响应用程序执行性能？
• 20 | Hive + Spark强强联合：分布式数仓的不二之选
• 21｜Spark UI（上）：如何高效地定位性能问题？
• 22｜Spark UI（下）：如何高效地定位性能问题？

用户故事

• 用户故事 | 小王：保持空杯心态，不做井底之蛙

Spark MLlib

• 23 | Spark MLlib：从“房价预测”开始
• 24 | 特征工程（上）：有哪些常用的特征处理函数？
• 25 | 特征工程（下）：有哪些常用的特征处理函数？
• 26 | 模型训练（上）：决策树系列算法详解
• 27 | 模型训练（中）：回归、分类和聚类算法详解
• 28 | 模型训练（下）：协同过滤与频繁项集算法详解
• 29 | Spark MLlib Pipeline：高效开发机器学习应用

Structured Streaming

• 30｜Structured Streaming：从“流动的Word Count”开始
• 31｜新一代流处理框架：Batch mode和Continuous mode哪家强？
• 32｜Window操作&Watermark：流处理引擎提供了哪些优秀机制？
• 33｜流计算中的数据关联：流与流、流与批
• 34｜Spark + Kafka：流计算中的“万金油”

结束语

• 结束语 | 进入时间裂缝，持续学习
• 期末测试｜来赴一场100分之约！