PAPERCLIP：利用多模态模型关联天文观测与自然语言

我们提出了 PAPERCLIP（Proposal Abstracts Provide an Effective Representation for Contrastive Language-Image Pre-training），一种利用神经网络模型将望远镜成像的天文观测与自然语言相关联的方法。该模型利用成功的观测提案摘要及相应的下游观测数据，对预训练的 Contrastive Language-Image Pre-training (CLIP) 模型进行微调，其中摘要可通过大语言模型（LLMs）的引导生成进行可选的总结。以哈勃空间望远镜（HST）的观测为例，我们通过针对图像检索（即使用自然语言查询寻找最相关的观测）和描述检索（即查询与给定观测最相关的天体物理目标类别和用例）的测试表明，微调后的模型在观测与自然语言之间体现了有意义的联合表示。我们的研究展示了利用文本作为接口，使用通用基础模型而非特定任务模型与天文数据进行交互的潜力。