Maven：面向超新星科学的多模态基础模型
高能天体物理现象
2024-09-02 v1 天体物理仪器与方法
机器学习
摘要
天文学中的一种常见情况是拥有少量高质量观测数据，以及大量较低质量的观测数据或来自简化模型的合成数据。时域天体物理学是这种不平衡的典型例子，在光度学上观测到的超新星数量比光谱学上观测到的多出几个数量级。同时，不存在数据驱动的模型来在共同背景下理解这些光度和光谱观测量。对比学习目标在共享嵌入空间中对齐不同数据模态方面越来越受欢迎，为从这些模态中提取信息提供了潜在的解决方案。我们提出了 Maven，第一个用于超新星科学的基础模型。为了构建 Maven，我们首先使用对比目标对来自 50 万个合成超新星的光度和光谱进行预训练以实现对齐。然后，我们在来自 Zwicky Transient Facility 的 4,702 颗观测超新星上对模型进行微调。尽管嵌入并未针对这些任务进行显式优化，Maven 在分类和红移估计方面均达到了 SOTA 性能。通过消融研究，我们表明使用合成数据进行预训练可以提高整体性能。在即将到来的 Vera C. Rubin 天文台时代，Maven 将作为利用大型、无标签和多模态时域数据集的罗塞塔石碑。
引用
@article{arxiv.2408.16829,
title = {Maven: A Multimodal Foundation Model for Supernova Science},
author = {Gemma Zhang and Thomas Helfer and Alexander T. Gagliano and Siddharth Mishra-Sharma and V. Ashley Villar},
journal= {arXiv preprint arXiv:2408.16829},
year = {2024}
}
备注
code: https://github.com/ThomasHelfer/multimodal-supernovae data: https://huggingface.co/datasets/thelfer/multimodal_supernovae