面向星系基础模型的混合对比学习
计算机视觉与模式识别
2022-06-27 v1 星系天体物理
摘要
新的天文任务常常与已收集标签的早期任务相关。我们调整对比学习框架 BYOL，以利用这些标签作为预训练任务，同时强制数据增强不变性。对于大规模预训练，我们引入了 GZ-Evo v0.1，包含 552k 张星系图像上的 96.5M 条志愿者响应，以及额外的 1.34M 个可比的无标签星系。206 个 GZ-Evo 回答中大多数对任意给定星系是未知的，因此我们的预训练任务使用一种自然处理未知回答的 Dirichlet 损失。无论是否使用混合学习，GZ-Evo 预训练相比直接训练均有提升，即便在下游标签充足时亦然（44k 标签时准确率 +4%）。我们的混合预训练/对比学习方法进一步提升了下游准确率，优于单独预训练或对比学习，尤其在低标签迁移情形下（750 标签时准确率 +6%）。
引用
@article{arxiv.2206.11927,
title = {Towards Galaxy Foundation Models with Hybrid Contrastive Learning},
author = {Mike Walmsley and Inigo Val Slijepcevic and Micah Bowles and Anna M. M. Scaife},
journal= {arXiv preprint arXiv:2206.11927},
year = {2022}
}
备注
Accepted at the ICML 2022 Workshop on Machine Learning for Astrophysics. Data: www.github.com/mwalmsley/pytorch-galaxy-datasets. Please reach out to share your labelled data - all contributions will be credited in future work