基于 Kafka Connect 的异构数据流式同步平台实战--掘金小册课程推荐/优惠

版权声明

本站非掘金小册官网，与官方无任何关系。我们不提供课程下载或详细内容，仅作为课程分享和推荐平台。我们鼓励大家支持正版，尊重创作者的劳动成果，这样不仅能帮助创作者持续产出优质内容，也能让自己获得更好的学习体验。请通过官方渠道购买和学习课程，感谢您的理解与支持。

课程详情

课程介绍

作者介绍

甘罗，贝壳找房商机平台技术负责人，主要负责贝壳商机相关的前台和中台相关研发和管理工作，包含广告商业化、流量分发、策略编排、策略推荐、策略仿真、商机数据、商机质量识别、商机溯源等能力建设及前台推广应用。主导过广告物料数据存储引擎统一和检索重构，从0到1搭建日均处理20亿+数据量级的、支持多种异构数据双向流式同步平台。现在，整体C端广告流量分发核心服务可用性5个9，平稳承载贝壳C端日均10亿+广告流量分发的流量洪峰。

曾先后任职于蘑菇街、腾讯、火币集团，擅长电商交易和营销、社交内容、数字货币高频交易多领域核心研发和基础架构工作。

小册介绍

在大数据时代下，我们经常需要从海量的数据中精准地筛选出需要的数据。最开始，我们需要处理的数据在百万甚至是更低的量级。这种情况下，主流的离线计算和实时计算的数据处理方案，在性能方面的表现是非常稳定的。

但随着时代的飞速发展，处理数十亿级数据量的情况越来越普遍，而大多数公司的数据同步和清洗技术手段还比较传统，存在延迟高、吞吐低、性能差等一系列问题。这就导致，服务的整体技术架构将会面临可用性和稳定性的挑战。比如说：

有海量数据同步和清洗诉求，但是不懂 MapReduce / Spark / Flink，或不想依赖很重的中间件；
有多种异构数据源的数据同步和清洗诉求，但是不想每次都有开发量，缺乏规模可扩展性和可重用性；
有多种异构数据源的数据同步和清洗诉求，但是缺乏异常容错管理和任务执行状态监控体系；
有海量数据同步和清洗诉求，但是不想投入很多机器计算资源，或不想做复杂中间件集群运维工作；

针对以上情况，小册将会带着大家利用开源或自研的 Source 和 Sink Connectors 组件，基于 Kafka Connect 从0到1搭建一个工业级可用的异构数据流式处理平台，实现海量 MySQL、PostgreSQL、MongoDB、Elasticsearch、FileSystem 等异构数据源之间的双向流式同步和清洗，并基于 JMX、Prometheus Exporter、Grafana 提供一站式分布式集群的监控和报警能力。

同时，该异构数据流式处理平台具备以下优势：

无论是后端业务开发，还是中台后端开发，提升效率和能力沉淀都是重要的，而通用的技术方案沉淀，可以降低开发的复杂度，提升接入效率。后端数据开发者、架构师需求尤为突出。希望这个先进且通用的解决方案能帮助你在数据开发的工作中更加游刃有余！

你会学到什么？

小册将从选型篇、架构篇、实践篇、运维篇、进阶篇、应用篇、彩蛋篇这七大模块，从场景分析讲到技术选型，再从系统架构讲到操作实战，手把手帮助大家从0到1搭建一个工业级可用、可伸缩扩展、易接入维护的，支撑日均处理数十亿级海量异构数据的双向流式处理平台。

因此你将收获：

面对海量异构数据的通用流式处理技术方案和架构设计
一个工业级可用、可扩展、易维护的多种异构数据双向流式处理平台
Kafka Connect、CDC机制、Data Routing & Pipeline 等技术栈的底层原理和生产实战
掌握 Source 和 Sink Connectors 架构剖析和扩展开发能力
掌握 Transforms 的架构设计理念，并能定制开发轻量级 ETL 组件
掌握基于 JMX、Prometheus Exporter、Grafana 一站式的指标收集和监控体系搭建

名人推荐

适宜人群

了解 Kafka、MySQL、MongoDB、Elasticsearch、ETL 等数据存储和处理基础知识的从业人员
掌握一些基本的离线和实时数据处理技巧的从业人员
想要精通或提升离线和实时数据同步和处理能力，想要掌握 Kafka 核心特性、MySQL 和 MongoDB 底层存储机制、CDC架构的理念和适用场景、Elasticsearch 分片/路由/管道等高阶操作、通用的数据ETL组件和框架等进阶技能的从业人员