零基础入门Spark- 极客时间课程推荐/优惠

零基础入门Spark--极客时间课程推荐/优惠

从项目入手,带你深入浅出玩转Spark
吴磊前FreeWheel机器学习团队负责人
专栏 | 38讲 | 20090人已学习
优惠价¥59原价:129
官网优惠购买

版权声明

本站非极客时间官网,与官方无任何关系。我们不提供课程下载或详细内容,仅作为课程分享和推荐平台。我们鼓励大家支持正版,尊重创作者的劳动成果,这样不仅能帮助创作者持续产出优质内容,也能让自己获得更好的学习体验。请通过官方渠道购买和学习课程,感谢您的理解与支持。

课程详情

你将获得

  • 快速构建 Spark 核心知识体系;
  • Spark 三大计算场景案例实操;
  • 逐句注释的保姆级代码讲解;
  • 在故事中搞懂 Spark 开发实战技巧。

课程介绍

说到学习Spark,如果你对“Spark还有那么火吗?会不会已经过时了?”这个问题感到困惑,那大可不必。

因为经过十多年的发展,Spark已经由当初的“大数据新秀”成长为数据应用领域的中流砥柱,早已成为各大头部互联网公司的标配。比如,字节跳动、美团、Netflix等公司基于Spark构建的应用,在为公司旗下的核心产品提供服务。

这也就意味着,对于数据应用领域的任何一名工程师来说,Spark开发都是一项必备技能

虽然Spark好用,而且是大数据从业者的一门必修课,但对于入门这件事儿,却也面临着这样一些难题:

  • 学习资料多且杂,自己根本就梳理不出脉络,更甭提要构建结构化的知识体系了。
  • 学习Spark,一定要先学Scala吗?新学一门编程语言,真不是件容易的事儿。
  • Spark的开发算子太多,记不住,来了新的业务需求,又不知道该从哪里下手。
  • ……

那么,该如何解决这些问题,从而打开Spark应用开发的大门呢?

为此,我们邀请到了吴磊老师。他会结合自己这些年学习、应用和实战Spark的丰富经验,为你梳理一套零基础入门Spark的“三步走”方法论:熟悉Spark开发API与常用算子、吃透Spark核心原理、玩转Spark计算子框架,从而帮助你零基础上手Spark 。

这个“三步走”方法论再配合4个不同场景的小项目,吴磊老师会从基本原理到项目落地,带你深入浅出玩转Spark。

课程模块设计

结合Spark最常用的计算子框架,这门课设计为4个模块,它与“三步走”方法论的对应关系如下:

基础知识模块:从一个叫作“Word Count”的小项目开始,详细地讲解RDD常用算子的含义、用法与适用场景,以及RDD编程模型、调度系统、Shuffle管理、内存管理等核心原理,帮你打下坚实的理论基础。

Spark SQL模块:从“小汽车摇号”项目入手,带你熟悉Spark SQL开发API,为你讲解Spark SQL的核心原理与优化过程,以及Spark SQL与数据分析有关的部分,如数据的转换、清洗、关联、分组、聚合、排序,等等。

Spark MLlib模块:从“房价预测”这个小项目入手,带你了解Spark在机器学习中的应用,深入学习Spark MLlib丰富的特征处理函数和它支持的模型与算法,并带你了解Spark + XGBoost集成是如何帮助开发者应对大多数的回归与分类问题。

Structured Streaming模块:重点讲解Structured Streaming是怎么同时保证语义一致性与数据一致性的,以及如何应对流处理中的数据关联,并通过Kafka + Spark这对“Couple”的系统集成,来演示流处理中的典型计算场景。

课程目录

开篇词

  • 开篇词 | 入门Spark,你需要学会“三步走”

基础知识

  • 01|Spark:从“大数据的Hello World”开始
  • 02 | RDD与编程模型:延迟计算是怎么回事?
  • 03 | RDD常用算子(一):RDD内部的数据转换
  • 04 | 进程模型与分布式部署:分布式计算是怎么回事?
  • 05 | 调度系统:如何把握分布式计算的精髓?
  • 06 | Shuffle管理:为什么Shuffle是性能瓶颈?
  • 07 | RDD常用算子(二):Spark如何实现数据聚合?
  • 08 | 内存管理:Spark如何使用内存?
  • 09 | RDD常用算子(三):数据的准备、重分布与持久化
  • 10 | 广播变量 & 累加器:共享变量是用来做什么的?
  • 11 | 存储系统:数据到底都存哪儿了?
  • 12 | 基础配置详解:哪些参数会影响应用程序稳定性?

Spark SQL

  • 13 | Spark SQL:让我们从“小汽车摇号分析”开始
  • 14 | 台前幕后:DataFrame与Spark SQL的由来
  • 15 | 数据源与数据格式:DataFrame从何而来?
  • 16 | 数据转换:如何在DataFrame之上做数据处理?
  • 17 | 数据关联:不同的关联形式与实现机制该怎么选?
  • 18 | 数据关联优化:都有哪些Join策略,开发者该如何取舍?
  • 19 | 配置项详解:哪些参数会影响应用程序执行性能?
  • 20 | Hive + Spark强强联合:分布式数仓的不二之选
  • 21|Spark UI(上):如何高效地定位性能问题?
  • 22|Spark UI(下):如何高效地定位性能问题?

用户故事

  • 用户故事 | 小王:保持空杯心态,不做井底之蛙

Spark MLlib

  • 23 | Spark MLlib:从“房价预测”开始
  • 24 | 特征工程(上):有哪些常用的特征处理函数?
  • 25 | 特征工程(下):有哪些常用的特征处理函数?
  • 26 | 模型训练(上):决策树系列算法详解
  • 27 | 模型训练(中):回归、分类和聚类算法详解
  • 28 | 模型训练(下):协同过滤与频繁项集算法详解
  • 29 | Spark MLlib Pipeline:高效开发机器学习应用

Structured Streaming

  • 30|Structured Streaming:从“流动的Word Count”开始
  • 31|新一代流处理框架:Batch mode和Continuous mode哪家强?
  • 32|Window操作&Watermark:流处理引擎提供了哪些优秀机制?
  • 33|流计算中的数据关联:流与流、流与批
  • 34|Spark + Kafka:流计算中的“万金油”

结束语

  • 结束语 | 进入时间裂缝,持续学习
  • 期末测试|来赴一场100分之约!

作者介绍

吴磊,前 Comcast Freewheel 机器学习团队负责人,负责计算广告业务中机器学习应用的实践、落地与推广。曾任职于 IBM、联想研究院、新浪微博,具备丰富的数据库、数据仓库、大数据开发与调优经验。 吴磊热爱技术分享,擅长从生活的视角解读技术。做过Spark Summit China 2017 讲师、World AI Conference 2020 讲师,在《IBM developerWorks》和《程序员》杂志,以及InfoQ上发表过多篇技术文章,深受好评。

作者其他课程

Spark性能调优实战 - 极客时间课程推荐/分享/优惠/折扣
Spark性能调优实战
一站式加速Spark作业执行性能
吴磊前FreeWheel机器学习团队负责人
专栏 | 9391人已学习
优惠价¥59原价:99
官网优惠购买

推荐

容量保障核心技术与实战 - 极客时间课程推荐/分享/优惠/折扣
容量保障核心技术与实战
从单项到全局,学大厂容量保障经验
吴骏龙前阿里巴巴本地生活P8高级专家
专栏 | 5649人已学习
优惠价¥29原价:68
官网优惠购买
玩转AI大模型时代的数据思维 - 极客时间课程推荐/分享/优惠/折扣
玩转AI大模型时代的数据思维
当下和未来管理者的数据思维课
王曦 前 Google 商业运营主管、杉数科技联合创始⼈
视频课 | 28人已学习
优惠价¥59原价:99
官网优惠购买
数据结构与算法之美 - 极客时间课程推荐/分享/优惠/折扣
数据结构与算法之美
为工程师量身打造的数据结构与算法私教课
王争前Google工程师
专栏 | 287571人已学习
优惠价¥68原价:199
官网优惠购买
分布式技术原理与算法解析 - 极客时间课程推荐/分享/优惠/折扣
分布式技术原理与算法解析
12周精通分布式核心技术
聂鹏程智载云帆CTO,前华为分布式Lab资深技术专家
专栏 | 40231人已学习
优惠价¥59原价:129
官网优惠购买
代码之丑 - 极客时间课程推荐/分享/优惠/折扣
代码之丑
识别坏味道,重构问题代码
郑晔开源项目 Moco 作者
专栏 | 20728人已学习
优惠价¥59原价:99
官网优惠购买
Rust语言从入门到实战 - 极客时间课程推荐/分享/优惠/折扣
Rust语言从入门到实战
跨越门槛,Rust 原来可以如此简单
唐刚Rust 语言中文社区联合创始人
专栏 | 6973人已学习
优惠价¥59原价:129
官网优惠购买