kafka-in-production：实践指南

面对实际交付，我看kafka-in-production的重点不在星标，而在这项能力：：书籍：在生产中运行 Kafka 的公司的技术博客和讲座。这类日常自动化工具真正难在输入边界、依赖和失败处理如果不清楚就很难稳定复用，仓库说明只能作为第一层证据。我的评估方法是用一项范围明确的真实任务完成最小试跑，然后检查配置时间、输出质量、异常信息和维护痕迹是否与文档一致。整体来看，它适合愿意先做小范围验证并复查原始文档的团队拿来做对照测试，最终决定仍应回到真实结果和维护状态。

卡夫卡生产中

想知道大公司如何在生产中运营他们的 kafka 队列吗？这可能是适合您的存储库：

• 在生产环境中运行kafka时遇到了哪些问题？
• 其他组织如何尝试解决这些问题？
• 为什么采用某些方法而不是其他方法？ :平衡规模:
• 我们可以为自己的用例学习什么？

ABN AMRO

• 批处理只是一个慢流：设计事件优先的管道，而不需要全力以赴实时 - 2026 - :studio_microphone:

阿迪达斯

• Kafka 连接混乱：在风暴中生存 - 2025 - :studio_microphone:
• 从几天到几秒：阿迪达斯的可扩展 Kafka 自助服务之旅 - 2025 - :studio_microphone:

土坯

• Adobe Experience Platform Pipeline 如何成为 Adobe 动态处理的基石 - 2019 - :books:
• 在大规模分布式系统管理越牛顿还原论，第 2 部分 - 2019 - :books:
• Adobe Experience Platform 的流媒体源和目标概述和架构 - 2019 - :books:
• 赢得 Adobe 的有效 Kafka 坚控：稳定性、性能和成本节约 - 2019 - :books:
• 使用 Kafka 创建 Adobe Experience Platform Pipeline - 2018 - :books:

雅高达

• 我们如何解决 Apache Kafka 中的负载平衡挑战 - 2024 - :books:
• Agoda 如何在 Kafka 上管理每天 1.5 万亿个事件 - 2021 - :books:
• 添加时间延迟来坚控 Kafka Consumer - 2021 - :books:
• 我们的数据科学家如何将 PB 级数据摄入 Hadoop（来自 Kafka） - 2021 - :books:

阿卡迈

• Stream On：使用 Kafka Streams 模板从瓶颈到简化 - 2025 - :studio_microphone:

爱彼迎

• 在Zookeeper集群之间透明迁移Kafka - 2021 - :books:

快板

• 释放 Kafka 的潜力：使用 eBPF 解决尾部延迟 - 2024 - :books:

苹果

• 留下您的密码：在 Kafka 中拥抱 mTLS - 2025 - :studio_microphone:
• 利用 Strimzi 操作的 Kafka 中的分层存储实现经济高效的流应用程序 - 2024 - :studio_microphone:
• 通过零数据移动平衡 Kafka 集群 - 2023 - :studio_microphone:
• 大规模操作 Apache Kafka® 的经验 - 2019 - :studio_microphone:
• Kafka 即服务安全和多租户的故事 - 2018 - :studio_microphone:

AppsFlyer

• 大规模更改 Kafka 分区密钥之前要采取的四个关键步骤 - 2023 - :books:
• 人类 Kafka 滞后坚控 - 2020 - :studio_microphone:
• AppsFlyer 的 Apache Kafka 滞后坚控 - 2020 - :books:
• 在爆炸性增长的环境中管理您的 Kafka - 2019 - :studio_microphone:

阿特拉斯

• 扩展 StreamHub：从 Kinesis 过渡到 Kafka，处理 1450 亿个每日事件 - 2026 - :books:

巴克达塔

• 扩展语义搜索：Apache Kafka 与矢量数据库相遇 - 2025 - :studio_microphone:

BEC

• 现代化核心银彳平台：从大型机到 Salesforce 的实时数据流 - 2025 - :studio_microphone:

BigCommerce

• 使用 Kafka 的可扩展电子商务数据管道：实时分析、批量、ML、数据湖及其他 - 2023 - :studio_microphone:

比特熊猫

• Bitpanda 的新交易引擎 - 第 #1 部分 - 利用 Kafka 进行异步交易 - 2023 - :books:

彭博社

• 完全托管、多租户 Kafka 集群：提示、技巧和工具 - 2022 - :studio_microphone:

博尔特

• 使用 Apache Kafka 和 ksqlDB 在 Bolt 进行数据复制 - 2021 - :studio_microphone:
• Bolt 如何采用 Confluence 平台进行变更数据捕获 - 2020 - :books:
• 尚可伟 - 2020 - :书籍:

Booking.com

• Booking.com 的数据流生态系统管理 - 2018 - :books:

布雷克斯

• 交易事件在 Brex 发布 - 2022 - :books:

CERN

• CERN IoT Kafka 管道 - 2024 - :studio_microphone:

思科

• 流中的思考：构建有状态、无服务器代理循环 - 2026 - :studio_microphone:

云耀

• 关于 Kafka - 2024 - :studio_microphone:
• 针对不健康的 Kafka 消费者智能自动重启 - 2023 - :books:
• 使用 Apache Kafka 处理 1 万亿条服务间消息 - 2022 - :books:

云时代

• 使用 Streams Replication Manager 无前缀复制进行 Kafka 主题聚合 - 2024 - :books:
• Streams Replication Manager 无前缀复制 - 2024 - :books:

币库

• Coinbase 的 Kafka 基础设施改造 - 2022 - :books:
• 我们如何使用 AWS MSK 在 Coinbase 扩展数据流 - 2021 - :books:

克里特奥

• 在 Criteo 管理 Kafka 和数据流 - 2023 - :books:
• 在大型基础设施上升级 Kafka，或者：大规模迁移时需要仔细规划 - 2019 - :books:
• Criteo 如何管理欧洲最大的 Kafka 基础设施之一 - 2019 - :books:

群众罢工

• Kafka 消费者的实时自适应控制 - 2024 - :studio_microphone:

数据狗

• 从批量到实时：使用 Debezium 在 Datadog 规模上操作 Cassandra CDC - 2026 - :studio_microphone:
• 在 Kubernetes 中运行生产 Kafka 集群 - 2019 - :studio_microphone:

迪卡侬

• 在迪卡侬的 Kubernetes 上与 Kafka Connect 和 Strimzi 进行无缝数据交换 - 2024 - :books:

梦想11

• 为“印度规模”重新设计 Kafka 消费者：Dream11 处理数百万条消息的旅程 - 2025 - :studio_microphone:
• 使用 RackAwareStickyPartitioner 降低 Kafka 生产者跨网络成本 - 2025 - :studio_microphone:

eBay

• Debezium、Apache Kafka 和非循环同步算法 - 2026 - :studio_microphone:

E.ON

• 迈向可互操作智能：多代理系统的流媒体基础 - 2026 - :studio_microphone:

FanDuel

• 从混沌到之路 - FanDuel 的事件策略如何改变企业事件流 - 2026 - :studio_microphone:

富达

• 从盲点到完全可见性：使用 OpenTelemetry 实现 Kafka 可观测性 - 2026 - :studio_microphone:

送货员

• 通过 Protobuf 架构验证提高流数据质量 - 2019 - :books:

门板

• DoorDash 为工程师提供 Kafka 自助服务 - 2024 - :books:
• API-Kafka 主题创建的第一种方法 - 2023 - :books:
• 使用 Kafka 和 Flink 构建可扩展的实时事件处理 - 2020 - :books:
• 通过用 Apache Kafka 替换 RabbitMQ 消除任务处理中断，无需停机 - 2020 - :books:

GoTo

• 使用“ClickHouse Kafka Ingestor”将 Kafka 消息接收到 ClickHouse - 2022 - :books:
• 当卡夫卡离岸时 - 2021 - :books:
• 增强 Ziggurat - Gojek Kafka 生态系统的骨干 - 2021 - :books:
• 在流系统中处理死信 - 2020 - :books:
• Kafka 如何解决 Gojek 的文化问题 - 2019 - :books:
• Fronting：用于卡夫卡摄取的装甲车 - 2018 - :books:
• Sakaar：将 Kafka 数据保存到 GO-JEK 的云存储 - 2018 - :books:

抢

• Kubernetes 上的 Kafka：重新加载以实现容错 - 2023 - :books:
• 与 Kafka 零信任 - 2022 - :books:
• Kafka Connect 如何帮助无缝移动数据 - 2022 - :books:
• 通过 VPC 端点服务公开 Kafka 集群 - 2022 - :books:
• 使用 GrabDefence 成功检测欺诈！ - 2021 - ：studio_microphone：
• 优化扩展 Kafka 消费者应用程序 - 2020 - :books:

HelloFresh

• ProtoMock：通过从 Protobuf 模式生成模拟数据进行简单 Kafka 测试 - 2023 - :books:
• 重命名 Kafka 主题 - 2023 - :books:

蜂窝状

• 改变我们在 Honeycomb 运行 Kafka 的方式 - 2026 - :books:
• 通过流媒体扩展遥测系统 - 2023 - :studio_microphone:
• 从迁移到 Confluence Kafka 中学到的经验教训 - 2021 - :books:
• 在 Honeycomb 上扩展 Kafka - 2021 - :books:
• 被 Kafka Bug 咬伤 - 事后分析 - 2019 - :books:

集线器点

• 我们的多区域之旅：支持跨区域 Kafka 消息传递 - 2022 - :books:

确实

• Indeed Flex：革命性招聘平台的故事 - 2023 - :studio_microphone:

克拉纳

• 使用 Kafka 发展实时欺诈屏障 - 2024 - :studio_microphone:

LinkedIn

• 构建万亿级消息规模的可靠 CDC 和 Kafka 镜像管道 - 2026 - :studio_microphone:
• 统一模式注册表：确保跨数据系统的模式一致性 - 2025 - :studio_microphone:
• 负载平衡的 Brooklin Mirror Maker：在 LinkedIn 复制大规模 Kafka 集群 - 2022 - :books:
• TopicGC：LinkedIn 如何清理其 Kafka 集群未使用的元数据 - 2022 - :books:
• LinkedIn 如何为每天 7 万亿条消息定制 Apache Kafka - 2019 - :books:
• URP？对不起！您必须了解的三个指标 - 2018 - :studio_microphone:
• Samza/Kafka 服务的测试策略 - 2017 - :books:
• LinkedIn 的 Kafka 生态系统 - 2016 - :books:
• LinkedIn 的卡夫卡式日子 – 第 1 部分 - 2016 - :books:
• 我们如何在 LinkedIn 改进和推进 Kafka - 2015 - :books:

来福车

• Lyft 流媒体管道的演变 - 2023 - :studio_microphone:
• 使用 Kafka 和 Golang 构建自适应、多租户流总线 - 2020 - :books:
• Kafka 可以处理 Lyft 行程吗？ - 2020 - ：studio_microphone：
• 在没有全球运营团队的情况下操作 Apache Kafka 集群 24/7 - 2019 - :books:
• 具有故障树分析功能的防弹 Apache Kafka® - 2019 - :studio_microphone:
• Kubernetes 上的生产就绪 Kafka - 2019 - :studio_microphone:

蒙佐

• 我们如何在 Kafka 之上构建队列 - 2024 - :books:

MarketAxess

• “即插即用”谎言：为什么您的 Oracle CDC 管道会失败 - 2026 - :studio_microphone:

米其林

• Kafka 流中的死信队列 (KIP-1034) - 2026 - :books:
• Kafka 消费，变得简单又安全 - 2026 - :books:
• Kafka 连接器迁移壮举。 Kestra - 2025 - ：书籍：
• 生产中的大规模 Kafka 流拓扑改造：没有混乱，没有头痛！我的主要收获！ - 2025 - ：studio_microphone：
• 处理 Kafka 流中的异常处理和死信队列 - 2025 - :studio_microphone:
• 优化关键业务流程的 Kafka 流连接 - 2025 - :studio_microphone:
• 处理 Kafka 流中的异常处理和死信队列 - 2025 - :studio_microphone:
• 生产中的大规模 Kafka 流拓扑改造：没有混乱，没有头痛！我的主要收获！ - 2025 - ：studio_microphone：
• Kafka 流中的处理错误处理 - 2025 - :books:
• 设计 Kafka 流应用程序 - 2024 - :books:
• 为开源软件做出贡献：AKHQ - 2024 - ：书籍：
• 如何“Kstreamplify”：开发 Kafka Streams 应用程序的新方法 - 2023 - :books:
• 从整体编排器到微服务流媒体 - 2023 - :studio_microphone:
• 将应用程序从 Kafka On-Premise 迁移到 Confluence Cloud - 2022 - :books:
• 米其林指南：意外事件驱动用例 - 2022 - :books:
• 从编排转向编排 - 第 3 部分 - 2022 - ：书籍：
• 从编排转向编排 - 第 2 部分 - 2021 - ：书籍：
• 从编排转向编排 - 第 1 部分 - 2021 - :books:
• 通过实施分布式事件流平台 - 2021 - ：书籍：

移动超级联赛

• 利用 Kafka 和 Flink 的强大功能，构建可扩展的 RealTime ML 竞技游戏平台 - 2025 - :studio_microphone:

摩根士丹利

• 使用 Kafka Streams 的一致、高吞吐量、实时计算引擎 - 2023 - :studio_microphone:

Netflix

• 按数据播放：Netflix 从流媒体到游戏洞察之旅 - 2025 - :studio_microphone:
• 大规模自托管 Kafka：Netflix 的历程和挑战 - 2024 - :studio_microphone:
• 在 Netflix 工作室和世界中采用 Apache Kafka - 2020 - :books:
• Inca — 流数据的消息跟踪和丢失检测 @Netflix - 2019 - :books:
• Netflix 数据管道的演变 - 2016 - :books:
• Kafka Keystone 管道内部 - 2016 - :books:

新遗物

• 扩展数据摄取：克服单元架构的挑战 - 2024 - :studio_microphone:
• 通过 Showbacks 控制 Kafka 云成本 - 2024 - :studio_microphone:
• 调整 Apache Kafka 消费者以最大化吞吐量并降低成本 - 2024 - :books:
• 大规模 Apache Kafka 的 20 个最佳实践 - 2018 - :books:
• 在 New Relic 使用 Apache Kafka 进行实时事件处理 - 2018 - :books:
• Kafka 主题分区的最佳实践和策略 - 2021 - :books:
• AWS re:Invent 2020：New Relic 如何将其 Apache Kafka 集群迁移到 Amazon MSK - 2021 - :studio_microphone:
• 新遗物案例：“大规模，小集群：使用 Cell 在云中扩展” - 2021 - :studio_microphone:
• 使用 eBPF - 2022 - :studio_microphone: 无需仪器即可坚控 Kafka：
• 揭示 Kafka 性能异常根本原因的关键指标 - 2022 - :studio_microphone:
• 减少 Kafka 中单个代理故障的影响 - 2023 - :studio_microphone:
• 要么做大，要么回家：大规模实现 Kafka 复制 - 2023 - :studio_microphone:
• 通过分区多宿主缓解基于密钥的分区的 Kafka Broker“灰色”故障 - 2023 - :studio_microphone:
• 坚控 Apache Kafka 以降低云成本 - 2023 - :books:

概念

• Notion 事件日志记录堆栈的演变 - 2025 - :studio_microphone:

OpenAI

• 动态 Kafka、静态睡眠：在 OpenAI 上使用 Flink 驯服多集群流 - 2026 - :studio_microphone:
• 驯服 Kafka 混乱：OpenAI 如何简化 Kafka 消费 - 2025 - :studio_microphone:
• 在飞行中更改引擎：OpenAI 处的 Kafka 迁移 - 2025 - :studio_microphone:
• 在 OpenAI 构建流处理平台 - 2025 - :studio_microphone:

贝宝

• 扩展 Kafka 以支持 PayPal 的数据增长 - 2023 - :books:
• 为数十亿个事件扩展 Kafka Consumer - 2021 - :books:
• 迈向每天一万亿 Kafka 消息：以 PayPal 规模运行 Kafka - 2020 - :studio_microphone:

健康拟人化

• 为开发人员提供集中式 Kafka 库 - 2025 - :studio_microphone:

PhonePe

• 揭秘 MirrorMaker2 的 DR，在印度规模（每天约 1 万亿条消息！） - PhonePe 的故事 - 2025 - :studio_microphone:

兴趣

• Apache Kafka® 的 Pinterest 分层存储：代理解耦方法 - 2024 - :books:
• Pinterest 的自动化、高效、低维护 Kafka 平台之旅 - 2024 - :studio_microphone:
• 在 Pinterest 上大规模运行 Apache Kafka 的经验教训 - 2021 - :books:
• Pinterest 如何大规模运行 Kafka - 2018 - :books:
• 开源 DoctorKafka：Kafka 集群修复和工作负载平衡 - 2017 - :books:

平台化

• 使用 Kafka Streams 将 APIs 转换为事件源 - 2025 - :studio_microphone:
• Kafka 延迟分析器：深入了解每条记录的端到端延迟 - 2023 - :studio_microphone:

PPC集团

• 打开灯：我们如何解锁实时客户数据 - 2025 - :studio_microphone:

ReversingLabs

• 如何实时搜索 8000 亿条记录 [PyCon DE & PyData 2026] - 2026 - :studio_microphones:

风险化

• 如何管理模式和处理标准化 - 2023 - :books:
• 如何以零停机且无数据丢失的方式滚动 Kafka 集群 - 2023 - :books:
• 了解您的限制：集群基准 - 2022 - :books:
• 让您的 CFO 快乐； Kafka 成本降低实用指南 - 2022 - :studio_microphone:
• 从 AWS CloudFormation 到 Terraform：迁移 Apache Kafka - 2021 - :books:

罗宾汉

• Robinhood 从 EC2 到 Kubernetes 的 Kafka 之旅 - 2024 - :studio_microphone:
• Robinhood 的 Kafkaproxy：将 Kafka 消费者逻辑与应用程序业务逻辑解耦 - 2023 - :studio_microphone:
• 与小团队一起解决 Kafka - 2019 - :studio_microphone:

红迪网

• 在飞行中交换引擎：我们如何将 Reddit 的 PB 级 Kafka 队列迁移到 Kubernetes - 2026 - :books:

销售人员

• Apache Kafka 如何启发我们的平台事件架构 - 2024 - :books:
• 我们的近乎完美日志管道之旅 - 2024 - :books:
• 使用 Apache Kafka 扩展可见性 - 2024 - :books:
• 开源 Mirus - 2024 - ：书籍：

分享聊天

• 使用 Kafka 和 Kafka Streams 进行大规模流聚合 - 2025 - :studio_microphone:

船火箭

• 使用 Kafka 打造“印度规模”（约 10 亿 events/day）电子商务 - Shiprocket 故事 - 2025 - :studio_microphone:

购物

• 弹性 Kafka：DNS 流量管理和客户端包装器如何确保可用性 - 2023 - :studio_microphone:
• 捕获 Shopify 分片单体 的每一个变化 - 2021 - :books:
• 在 Shopify 的 Kubernetes 上运行 Apache Kafka - 2018 - :books:
• Ruby on Rails 的 Kafka 生产者管道 - 2014 - :books:

松弛

• 大规模更改数据捕获：来自 Slack 流媒体管道的见解 - 2025 - :studio_microphone:
• 使用开源组件构建自驱动Kafka集群 - 2022 - :books:

条纹

• Kafka分层存储在生产中吗？ - 2025 - ：studio_microphone：
• 大规模掌握 Kafka：在 Stripe 释放时间的力量 | 重播 2023 - 2023 - :studio_microphone:
• 6 个九：Stripe 如何保持 Kafka 在全球范围内高可用性 - 2022 - :studio_microphone:

优步

• 介绍 uFowarder：Kafka 异步队列的消费者代理 - 2026 - :books:
• 以 Uber 规模对 Kafka 进行现代化改造：从旧硬件升级到新硬件 SKUs - 2025 - :studio_microphone:
• Uber 大规模实时分析平台 - 2025 - :studio_microphone:
• Uber 实时数据堆栈中的 Protobuf 支持 - 2024 - :studio_microphone:
• 主题联合：通过跨集群的分片主题增强 Kafka 可用性 - 2024 - :studio_microphone:
• Uber 的 Kafka 分层存储简介 - 2024 - :books:
• Uber 中的大规模 Exactly-Once 流处理 - 2024 - :studio_microphone:
• 大规模运行 Kafka 分层存储的学习 - 2023 - :studio_microphone:
• 保护 Uber 的 Kafka® 基础设施 - 2022 - :books:
• 使用 Apache Flink、Kafka 和 Pinot 进行实时一次广告事件处理 - 2021 - :books:
• uGroup 简介：Uber 的消费者管理框架 - 2021 - :books:
• Uber 多区域 Kafka 灾难恢复 - 2020 - :books:
• Uber 的 Kafka 集群联合 - 2019 - :studio_microphone:
• 使用 Apache Kafka 构建可靠的重新处理和死信队列 - 2018 - :books:
• Chaperone 简介：Uber 工程如何端到端审核 Apache Kafka - 2016 - :books:
• uReplicator：Uber Engineering 强大的 Apache Kafka 复制器 - 2016 - :books:

沃尔玛

• 卡夫卡@沃尔玛 - 2026 - :studio_microphone:

怀斯

• Wise 的流媒体基础设施 - 2023 - :studio_microphone:
• Kafka Streams 中的机架感知 - 2022 - :books:
• 团队合作：在 Wise 实施 Kafka 重试策略 - 2021 - :books:
• 在 Kubernetes 中运行 Kafka，第 1 部分：为什么我们将 Kafka 集群迁移到 Kubernetes。 - 2021 - ：书籍：
• 在 Kubernetes 中运行 Kafka，第 2 部分：我们如何将 Kafka 集群迁移到 Kubernetes。 - 2021 - ：书籍：
• 在 TransferWise 处使用 SPIFFE 保护 Kafka - Jonathan Oddy、Levani Kokhreidze - 2020 - :studio_microphone:
• 通过有状态 Kafka Streams 应用程序实现高可用性 - 2018 - :books:

维克斯

• 慢车道中的生活：通过延迟分层实现经济高效的流媒体 - 2026 - :studio_microphone:
• Kafka 重新平衡的 4 个步骤 - 现场笔记 - 2021 - :books:
• Wix 的数据流之旅 - 2021 - :books:
• 为 Kafka 构建高级 SDK：Greyhound Unleashed - 2020 - :books:

叫喊

• PaaSTA 上的 Kafka：在 Yelp 上的 Kubernetes 上运行 Kafka（第 2 部分 - 迁移） - 2022 - :books:
• PaaSTA 上的 Kafka：在 Yelp 上的 Kubernetes 上运行 Kafka（第 1 部分 - 架构） - 2021 - :books:
• Streams 和 Monk – Yelp 如何在 2020 年接近 Kafka - 2020 - :books:
• 每天数十亿条消息 – Yelp 的实时数据管道 - 2017 - :studio_microphone:

扎兰多

• 坚如磐石的 Kafka 和 ZooKeeper Ops 在 AWS - 2018 - :books:
• 使用 Kafka 的多对多关系 - 2018 - :books:
• 事件首次开发 - 转向 Kafka 管道应用程序 - 2017 - :books:
• 在 AWS 中重新附加 Kafka EBS - 2017 - :books:
• 使用 Apache Kafka Streams 进行实时排名 API - 2017 - :books:
• 在 AWS 中运行 Kafka Streams 应用程序 - 2017 - :books:
• Kafka 滞后坚控的配方 - 2017 - :books:
• 幸存数据丢失 - 2017 - :books:

禅台

• 拒绝访问：我们向 Kafka 的过渡 ACLs - 2024 - :books:
• 无缝过渡：Kafka集群迁移到Kubernetes - 2024 - :books:
• Kafka：使用 Vault 自动执行根 CA 旋转 - 2023 - :books:
• 在 Zendesk 上实施 mTLS 并保护 Apache Kafka - 2021 - :books:
• 对 Kafka 日志压缩的调查 - 2020 - :books:
• Ruby 上的 Kafka - 2020 - ：书籍：
• 使用 Kafka Connect 创建测试数据生成器 - 2018 - :books:

佐帕银彳

• Kubernetes 上高可用的 Kafka 消费者和 Kafka 流 - 2023 - :studio_microphone: