神经连通性：从少量样本中发现提高外分布任务性能的能力
机器学习
2025-12-08 v1 人工智能
摘要
为许多下游任务创建 SOTA 模型已成为常见做法，通常需要对大型训练运行产生的众多可能模型检查点进行挑选。当目标任务的数据稀缺、无标签且处于分布外时，确定最佳起始点成为尤为关键的问题。在此类情境下，依赖于分布内验证数据的常用方法变得不可靠或无法应用。本文提出了一种 novel approach for model selection that operates reliably on just a few unlabeled examples from the target task. 我们的 approach is based on a novel concept: Neural Coherence, which entails characterizing a model's activation statistics for source and target domains, allowing one to define model selection methods with high data-efficiency. 我们提供实验，其中使用 ImageNet1K 预训练的模型，并检查来自 Food-101、PlantNet-300K 和 iNaturalist 的目标域。我们还在众多 meta-learning 设置中对其进行评估。我们的 approach 在这些不同目标域上显著优于 established baselines 实现了更好的泛化。我们进一步通过展示 Neural Coherence 在训练数据选择中的有效性，表明其作为一种强大原则的多功能性。
引用
@article{arxiv.2512.05880,
title = {Neural Coherence : Find higher performance to out-of-distribution tasks from few samples},
author = {Simon Guiroy and Mats Richter and Sarath Chandar and Christopher Pal},
journal= {arXiv preprint arXiv:2512.05880},
year = {2025}
}