关于使用锚定训练视觉模型
机器学习
2024-06-04 v1 计算机视觉与模式识别
机器学习
摘要
锚定是一种最近提出的、与架构无关的训练深度神经网络的原则，已被证明能显著改善不确定性估计、校准和外推能力。在本文中，我们系统地探索了锚定作为训练视觉模型的通用协议，提供了对其训练和推理过程及其对泛化和安全性的影响的基本见解。尽管前景广阔，但我们发现了锚定训练中的一个关键问题，该问题可能导致学习不良捷径的风险增加，从而限制其泛化能力。为了解决这个问题，我们引入了一种新的锚定训练协议，该协议采用一个简单的正则化器来缓解此问题，并显著增强泛化能力。我们在不同规模和复杂度的数据集和架构上实证评估了我们提出的方法，结果表明，与标准训练协议相比，在泛化和安全性指标上取得了显著的性能提升。
引用
@article{arxiv.2406.00529,
title = {On the Use of Anchoring for Training Vision Models},
author = {Vivek Narayanaswamy and Kowshik Thopalli and Rushil Anirudh and Yamen Mubarka and Wesam Sakla and Jayaraman J. Thiagarajan},
journal= {arXiv preprint arXiv:2406.00529},
year = {2024}
}