Zwicky 暂现源设施的告警分发系统
天体物理仪器与方法
2019-02-07 v1
摘要
Zwicky 暂现源设施(ZTF)巡天在其宽视场巡天中发现的 optical 暂现源、变源和移动天体生成实时告警。我们描述了 ZTF 告警流分发与处理(滤波)系统。该系统使用业界已有的开源技术：实时流平台 Kafka 和二进制序列化格式 Avro。本系统所采用的技术为 ZTF 用例提供了若干优势，包括(1) 分发机制内置复制、可扩展性与流回放；(2) 具有严格强制模式与动态类型的有结构消息，便于快速解析；(3) 基于 Python 的流处理接口类似于批处理，构成熟悉且用户友好的插件式滤波系统，所有这些都位于一个模块化、主要容器化的系统中。生产部署已成功支持每夜多达 120 万条告警或约 70 GB 数据的流处理，每条告警在告警候选产生后约 10 s 内即可被消费者获取。已观测到约 80,000 条告警/分钟的数据传输速率。本文中，我们讨论该告警分发与处理系统、框架技术选型的设计动机、生产中的性能，以及该系统如何可普遍适用于其他告警流用例，包括即将到来的 Large Synoptic Survey Telescope。
引用
@article{arxiv.1902.02227,
title = {The Zwicky Transient Facility Alert Distribution System},
author = {Maria T. Patterson and Eric C. Bellm and Ben Rusholme and Frank J. Masci and Mario Juric and K. Simon Krughoff and V. Zach Golkhou and Matthew J. Graham and Shrinivas R. Kulkarni and George Helou},
journal= {arXiv preprint arXiv:1902.02227},
year = {2019}
}
备注
Published in PASP Focus Issue on the Zwicky Transient Facility (doi: 10.1088/1538-3873/aae904). 9 Pages, 2 Figures