扰动并纠正：基于仿射冗余的后置集成方法
机器学习
2026-05-05 v1
摘要
在分布移移的数据上，许多在分布内数据上几乎无差别的模型可能行为截然不同。我们引入扰动-纠正（Perturb-and-Correct, P&C），这是一种从单个预训练网络构建知识上多样化预测器的后置方法。P&C 通过对隐藏层施加随机扰动，并在后续仿射层中进行最小二乘校正，产生在校准数据上一致的预测器，同时在数据外保持自由 disagreement。我们通过后校正残差及其一阶灵敏度分析该机制：残差在校准分布附近由杠杆项控制，而校正后灵敏度随输入偏离校准几何而增长。经验上，P&C 在 MuJoCo 动力学预测和 CIFAR-10 OOD 检测任务中实现了强劲的 ID/OOD 折中，匹配或超越标准后置基线，仅需单个预训练模型。我们的发现凸显了进一步利用深度学习模型过参数化作为优势的潜力。
引用
@article{arxiv.2605.01632,
title = {Perturb and Correct: Post-Hoc Ensembles using Affine Redundancy},
author = {Eleanor Quint},
journal= {arXiv preprint arXiv:2605.01632},
year = {2026}
}