面向大规模天文巡天的分布外泛化：鲁棒网络学习相似表征
天体物理仪器与方法
2023-12-01 v1 星系天体物理
机器学习
摘要
机器学习（ML）模型对分布外（OOD）样本的泛化，仍是从即将到来的天文巡天中提取信息的关键挑战。可解释性方法是深入理解 OOD 泛化问题的自然途径。我们使用中心核对齐（CKA）——一种神经网络表征的相似性度量指标，考察 CAMELS 多场数据集上预训练卷积神经网络（CNNs）的表征相似度与性能间的关系。我们发现，当模型对分布偏移鲁棒时，其在 OOD 数据上各层产生显著不同的表征；而当其泛化失败时，这些表征在 OOD 数据上逐层变化较小。我们讨论了相似性表征在指导模型设计、训练策略以及通过在训练中引入 CKA 作为归纳偏置来缓解 OOD 问题的潜在应用。
引用
@article{arxiv.2311.18007,
title = {Towards out-of-distribution generalization in large-scale astronomical surveys: robust networks learn similar representations},
author = {Yash Gondhalekar and Sultan Hassan and Naomi Saphra and Sambatra Andrianomena},
journal= {arXiv preprint arXiv:2311.18007},
year = {2023}
}
备注
Accepted to Machine Learning and the Physical Sciences Workshop, NeurIPS 2023