星系图像的缩放定律
计算机视觉与模式识别
2024-04-05 v1 星系天体物理
摘要
我们首次在类似 ImageNet 的语境之外，对星系图像上的有监督缩放定律进行了系统性研究。我们使用了 84 万张星系图像以及 Galaxy Zoo 志愿者提供的超过 1 亿条标注，其规模与 ImageNet-1K 相当。我们发现，增加带标注的星系图像在所有架构和所有任务上均能带来性能的幂律提升，而增加可训练参数仅对部分（通常更具主观挑战性的）任务有效。随后，我们比较了仅在 ImageNet-12k 上预训练与额外在我们的星系图像上预训练的微调模型的下游性能。在 5 个具有科学意义的下游任务中，我们实现了平均 31% 的相对误差率降低。我们的微调模型具有更高的标签效率，并且不同于在 ImageNet-12k 上预训练的等效模型，它们通常能够获得与端到端微调相当的线性迁移性能。我们发现扩大模型规模带来的额外下游收益相对有限，这意味着仅靠扩大规模不足以弥补我们的领域差距，并建议拥有性质迥异图像的从业者可能会从领域内自适应加针对性的下游标注中获益更多。
引用
@article{arxiv.2404.02973,
title = {Scaling Laws for Galaxy Images},
author = {Mike Walmsley and Micah Bowles and Anna M. M. Scaife and Jason Shingirai Makechemu and Alexander J. Gordon and Annette M. N. Ferguson and Robert G. Mann and James Pearson and Jürgen J. Popp and Jo Bovy and Josh Speagle and Hugh Dickinson and Lucy Fortson and Tobias Géron and Sandor Kruk and Chris J. Lintott and Kameswara Mantha and Devina Mohan and David O'Ryan and Inigo V. Slijepevic},
journal= {arXiv preprint arXiv:2404.02973},
year = {2024}
}
备注
10+6 pages, 12 figures. Appendix C2 based on arxiv:2206.11927. Code, demos, documentation at https://github.com/mwalmsley/zoobot