通过权重空间序列建模实现超出支持集的泛化
机器学习
2026-03-06 v3
摘要
随着深度学习在关键行业的突破，模型越来越需要对训练集范围之外的数据点进行外推，这一挑战我们称为超出支持集（out-of-support, OoS）泛化。然而，神经网络在 OoS 样本上经常出现灾难性失败，导致不切实际但自信过度的预测。我们通过将 OoS 泛化问题重新表述为权重空间中的序列建模任务来解决此挑战，其中将训练集划分为对应离散序列步骤的同心壳层。我们的 WeightCaster 框架能够提供合理的、可解释的、且考虑不确定性的预测，而无需显式地设置归纳偏置，且保持高计算效率。在合成余弦数据集和真实世界空气质量传感器读数上的实证验证表明，该方法的性能在当前最先进方法中具有竞争力或更优。通过提升超出分布场景下的可靠性，这些结果对人工智能在更广泛应用中的采用具有重大意义。
引用
@article{arxiv.2602.13550,
title = {Out-of-Support Generalisation via Weight-Space Sequence Modelling},
author = {Roussel Desmond Nzoyem},
journal= {arXiv preprint arXiv:2602.13550},
year = {2026}
}
备注
Published at the Catch, Adapt, and Operate (CAO): Monitoring ML Models Under Drift workshop at ICLR 2026