基于 Kafka Connect 的异构数据流式同步平台实战--掘金小册课程推荐/优惠

作者介绍

甘罗，贝壳找房商机平台技术负责人，主要负责贝壳商机相关的前台和中台相关研发和管理工作，包含广告商业化、流量分发、策略编排、策略推荐、策略仿真、商机数据、商机质量识别、商机溯源等能力建设及前台推广应用。主导过广告物料数据存储引擎统一和检索重构，从0到1搭建日均处理20亿+数据量级的、支持多种异构数据双向流式同步平台。现在，整体C端广告流量分发核心服务可用性5个9，平稳承载贝壳C端日均10亿+广告流量分发的流量洪峰。

曾先后任职于蘑菇街、腾讯、火币集团，擅长电商交易和营销、社交内容、数字货币高频交易多领域核心研发和基础架构工作。

小册介绍

在大数据时代下，我们经常需要从海量的数据中精准地筛选出需要的数据。最开始，我们需要处理的数据在百万甚至是更低的量级。这种情况下，主流的离线计算和实时计算的数据处理方案，在性能方面的表现是非常稳定的。

但随着时代的飞速发展，处理数十亿级数据量的情况越来越普遍，而大多数公司的数据同步和清洗技术手段还比较传统，存在延迟高、吞吐低、性能差等一系列问题。这就导致，服务的整体技术架构将会面临可用性和稳定性的挑战。比如说：

• 有海量数据同步和清洗诉求，但是不懂 MapReduce / Spark / Flink，或不想依赖很重的中间件；
• 有多种异构数据源的数据同步和清洗诉求，但是不想每次都有开发量，缺乏规模可扩展性和可重用性；
• 有多种异构数据源的数据同步和清洗诉求，但是缺乏异常容错管理和任务执行状态监控体系；
• 有海量数据同步和清洗诉求，但是不想投入很多机器计算资源，或不想做复杂中间件集群运维工作；

针对以上情况，小册将会带着大家利用开源或自研的 Source 和 Sink Connectors 组件，基于 Kafka Connect 从0到1搭建一个工业级可用的异构数据流式处理平台，实现海量 MySQL、PostgreSQL、MongoDB、Elasticsearch、FileSystem 等异构数据源之间的双向流式同步和清洗，并基于 JMX、Prometheus Exporter、Grafana 提供一站式分布式集群的监控和报警能力。

同时，该异构数据流式处理平台具备以下优势：

无论是后端业务开发，还是中台后端开发，提升效率和能力沉淀都是重要的，而通用的技术方案沉淀，可以降低开发的复杂度，提升接入效率。后端数据开发者、架构师需求尤为突出。希望这个先进且通用的解决方案能帮助你在数据开发的工作中更加游刃有余！

你会学到什么？

小册将从选型篇、架构篇、实践篇、运维篇、进阶篇、应用篇、彩蛋篇这七大模块，从场景分析讲到技术选型，再从系统架构讲到操作实战，手把手帮助大家从0到1搭建一个工业级可用、可伸缩扩展、易接入维护的，支撑日均处理数十亿级海量异构数据的双向流式处理平台。

因此你将收获：

• 面对海量异构数据的通用流式处理技术方案和架构设计
• 一个工业级可用、可扩展、易维护的多种异构数据双向流式处理平台
• Kafka Connect、CDC机制、Data Routing & Pipeline 等技术栈的底层原理和生产实战
• 掌握 Source 和 Sink Connectors 架构剖析和扩展开发能力
• 掌握 Transforms 的架构设计理念，并能定制开发轻量级 ETL 组件
• 掌握基于 JMX、Prometheus Exporter、Grafana 一站式的指标收集和监控体系搭建

名人推荐

适宜人群

• 了解 Kafka、MySQL、MongoDB、Elasticsearch、ETL 等数据存储和处理基础知识的从业人员
• 掌握一些基本的离线和实时数据处理技巧的从业人员
• 想要精通或提升离线和实时数据同步和处理能力，想要掌握 Kafka 核心特性、MySQL 和 MongoDB 底层存储机制、CDC架构的理念和适用场景、Elasticsearch 分片/路由/管道等高阶操作、通用的数据ETL组件和框架等进阶技能的从业人员

• 开篇

• 架构篇：Source Connector 架构剖析

• 选型篇：异构数据流式处理技术选型

• 实践篇：Kafka Connect 集成 Debezium 实现异构数据变更实时采集

• 运维篇：异构数据流式处理集群管理控制台开发实践

• 进阶篇：Kafka 跨集群主题复制高可用架构设计与实践

• 进阶篇：如何把数十亿级异构数据流式迁移到 Elasticsearch 集群

• 选型篇：异构数据流式处理新架构

• 架构篇：Sink Connector 架构剖析

• 实践篇：Elasticsearch Sink Connector 扩展及实践

• 实践篇：MySQL Source Connector 扩展及实践

• 实践篇：MongoDB Source Connector 扩展及实践

• 架构篇：Kafka Connect Transforms 机制架构剖析

• 运维篇：异构数据流式处理集群部署与监控搭建实践

• 进阶篇：异构数据流式处理低代码平台设计与实践

• 实践篇：Kafka Connect Transforms 扩展及轻量级ETL实践

• 彩蛋篇：揭秘 Kafka Connect MirrorMaker 2.0 新特性

• 结束篇