射电星系动物园：以自监督学习构建射电天文学首个多用途基础模型
天体物理仪器与方法
2023-10-20 v3 星系天体物理
摘要
本工作中，我们应用带实例判别的自监督学习，为解析河外 continuum 图像的图像分析学习一种鲁棒、多用途的表示。我们训练了一个多用途模型，将无标注数据压缩为结构化低维表示，可用于多种下游任务（如分类、相似性搜索）。我们以统计显著优势超越基线监督的 Fanaroff-Riley 分类性能，模型将测试集误差至多减半。我们的模型亦能在极少标签下保持高分类准确率，仅用 145 个标签时误差仅 7.79%。我们进一步展示，通过使用我们的基础模型，用户可依据各自预算高效权衡计算量、人工标注成本与测试集准确率，从而实现多种场景下的高效分类。我们通过展示该模型在新 MIGHTEE 巡天数据下无需任何超参数调优即可在标签稀缺机制中准确分类（相较基线提升约 8%）来凸显其泛化性。对有标注与无标注数据的可视化表明，我们的模型表示空间相对于源的物理性质（如角向源延展）是结构化的。我们展示即便无标签可用，所学表示仍具科学用途：通过相似性搜索在 RGZ DR1 数据集中无标签地发现混合源。我们表明良好的增强设计与超参数选择有助于达到峰值性能，同时强调获得自监督预训练收益并非必需最优超参数。
引用
@article{arxiv.2305.16127,
title = {Radio Galaxy Zoo: Towards building the first multi-purpose foundation model for radio astronomy with self-supervised learning},
author = {Inigo V. Slijepcevic and Anna M. M. Scaife and Mike Walmsley and Micah Bowles and O. Ivy Wong and Stanislav S. Shabala and Sarah V. White},
journal= {arXiv preprint arXiv:2305.16127},
year = {2023}
}