基于分布式 Kafka 集群的全局消息有序化
分布式、并行与集群计算
2023-11-15 v2 软件工程
摘要
在当代分布式系统中，日志以惊人的速率产生，仅数秒便生成数 TB 数据。这些包含系统指标、用户行为与各类事件等关键细节的日志，是系统一致且准确运行的基础。精确的日志排序对于避免系统功能中的潜在歧义与不一致不可或缺。Apache Kafka 作为流行的分布式消息队列，为多种分布式日志处理挑战提供了重要解决方案。然而其存在固有局限：尽管 Kafka 能保证单个分区内消息按序投递给消费者，却无法保证跨多个分区的消息全局有序。本研究深入探讨在 Kafka 主题内实现消息全局有序的创新方法，旨在增强分布式系统中日志处理的完整性与一致性。我们的代码已在 GitHub 上公开。
引用
@article{arxiv.2309.04918,
title = {Global Message Ordering using Distributed Kafka Clusters},
author = {Shashank Kumar and Aryan Jadon and Sachin Sharma},
journal= {arXiv preprint arXiv:2309.04918},
year = {2023}
}
备注
Paper Accepted - The 2023 International Conference on Innovations in Information Technology (IIT'23)