AugLoss：一种基于鲁棒增强的微调方法
机器学习
2024-01-30 v2 计算机视觉与模式识别
机器学习
摘要
深度学习（DL）模型在许多领域取得了巨大成功。然而，DL 模型日益面临安全性与鲁棒性担忧，包括训练阶段的标签噪声与测试阶段的特征分布偏移。先前工作在解决这些问题上取得了显著进展，但重点大多放在仅一次解决一个问题。例如，近期研究主张使用可调鲁棒损失函数缓解标签噪声，以及使用数据增强（如 AugMix）应对分布偏移。作为同时解决两方面问题的一步，我们提出 AugLoss，一种简单而有效的方法，通过统一数据增强与鲁棒损失函数，实现对训练期标签噪声与测试期特征分布偏移的双重鲁棒性。我们在真实世界数据集损坏的多种设定下开展全面实验，展示 AugLoss 相较先前 SOTA 方法的增益。最后，我们希望本工作将为在真实世界损坏下设计更鲁棒、更可靠的 DL 模型开辟新方向。
引用
@article{arxiv.2206.02286,
title = {AugLoss: A Robust Augmentation-based Fine Tuning Methodology},
author = {Kyle Otstot and Andrew Yang and John Kevin Cava and Lalitha Sankar},
journal= {arXiv preprint arXiv:2206.02286},
year = {2024}
}
备注
10 pages, 6 figures, 6 tables