AstroLLaVA：面向天文数据的自然语言统一框架

Sharaf Zaman; Michael J. Smith; Pranav Khetarpal; Rishabh Chakrabarty; Michele Ginolfi; Marc Huertas-Company; Maja Jabłońska; Sandor Kruk; Matthieu Le Lain; Sergio José Rodríguez Méndez; Dimitrios Tanoglidis

AstroLLaVA：面向天文数据的自然语言统一框架

天体物理仪器与方法 2025-04-14 v1 机器学习

作者: Sharaf Zaman , Michael J. Smith , Pranav Khetarpal , Rishabh Chakrabarty , Michele Ginolfi , Marc Huertas-Company , Maja Jabłońska , Sandor Kruk , Matthieu Le Lain , Sergio José Rodríguez Méndez , Dimitrios Tanoglidis

在 arXiv 上查看 ↗ PDF ↗

摘要

我们提出AstroLLaVA，面向天文领域的视觉语言模型，使其能够通过自然语言对话与天文图像进行交互。通过在约3万张来自NASA「每日一图」、欧洲天文台和NASA/ESA哈勃太空站的图像及其描述和问答对上进行微调，我们构建了一个能够回答关于所示天文概念的开放式问题的模型。我们的两阶段微调过程使模型适应天文领域的图像标注和视觉问答任务。我们展示了AstroLLaVA在天文视觉问答基准测试上的性能，并发布模型权重、代码及训练数据集，以鼓励进一步的开源工作。最后，我们提出了通往与预训练语言模型对齐天文数据的路线图，并为感兴趣的研究者提供开放合作空间。

关键词

视觉语言模型天文学 LLaVA 图像标注视觉问答

引用

@article{arxiv.2504.08583,
  title  = {AstroLLaVA: towards the unification of astronomical data and natural language},
  author = {Sharaf Zaman and Michael J. Smith and Pranav Khetarpal and Rishabh Chakrabarty and Michele Ginolfi and Marc Huertas-Company and Maja Jabłońska and Sandor Kruk and Matthieu Le Lain and Sergio José Rodríguez Méndez and Dimitrios Tanoglidis},
  journal= {arXiv preprint arXiv:2504.08583},
  year   = {2025}
}

备注

8 pages, 3 figures, accepted to SCI-FM@ICLR 2025. Code at https://w3id.org/UniverseTBD/AstroLLaVA

AstroLLaVA：面向天文数据的自然语言统一框架

摘要

关键词

引用

备注

相关论文