基于在大型视觉模型上植入人类参与的星系图像数据分析通用框架
天体物理仪器与方法
2024-05-20 v1 星系天体物理
人工智能
摘要
天文数据集的指数级增长为人类获取对宇宙的洞见提供了前所未有的机会。然而，对这大量数据的有效分析提出了重大挑战。天文学家们正转向使用深度学习技术来应对这一问题，但这些方法受限于其特定的训练集，导致大量重复的工作负担。因此，以构建一种用于星系图像通用分析框架为例来展示如何克服这一问题，我们基于大型视觉模型（LVM）及其下游任务（DST），包括星系形态分类、图像修复、目标检测、参数提取等。考虑到星系图像的低信噪比和星系类别的不平衡分布，我们将人类参与式（Human-in-the-loop, HITL）模块植入到大型视觉模型中，该模块利用人类知识来增强处理星系图像的可靠性和可解释性。该框架在DESI遥感图像调查中的星系图像上表现出显著的few-shot学习能力和高度的任务适应性。明确地说，对于目标检测，通过1000个数据点训练，基于LVM的DST实现了96.7%的准确率，而ResNet50加Mask R-CNN仅达到93.1%；对于形态分类，仅需ResNet18的1/50训练集即可获得AUC约为0.9。值得注意的是，多模态数据也可类似地集成，这为在多消息天文学时代与跨越多个领域的数据集进行联合分析开辟了可能性。
引用
@article{arxiv.2405.10890,
title = {A Versatile Framework for Analyzing Galaxy Image Data by Implanting Human-in-the-loop on a Large Vision Model},
author = {Mingxiang Fu and Yu Song and Jiameng Lv and Liang Cao and Peng Jia and Nan Li and Xiangru Li and Jifeng Liu and A-Li Luo and Bo Qiu and Shiyin Shen and Liangping Tu and Lili Wang and Shoulin Wei and Haifeng Yang and Zhenping Yi and Zhiqiang Zou},
journal= {arXiv preprint arXiv:2405.10890},
year = {2024}
}
备注
26 pages, 10 figures, to be published on Chinese Physics C