利用特征对比学习平衡鲁棒性与敏感性
机器学习
2021-05-21 v1
摘要
人们普遍认为，极大型网络的鲁棒性训练对于其在真实世界应用中的成功至关重要。然而，当走向极端时，促进鲁棒性的方法会损害模型对稀有或代表性不足模式的敏感性。本文通过引入两个概念：上下文特征效用与上下文特征敏感性，讨论了对自然（非对抗）扰动的敏感性与鲁棒性之间的权衡。我们提出特征对比学习（FCL），鼓励模型对具有更高上下文效用的特征更为敏感。实证结果表明，用 FCL 训练的模型实现了更好的鲁棒性与敏感性平衡，从而在视觉与 NLP 数据集上含噪声时取得改进的泛化能力。
引用
@article{arxiv.2105.09394,
title = {Balancing Robustness and Sensitivity using Feature Contrastive Learning},
author = {Seungyeon Kim and Daniel Glasner and Srikumar Ramalingam and Cho-Jui Hsieh and Kishore Papineni and Sanjiv Kumar},
journal= {arXiv preprint arXiv:2105.09394},
year = {2021}
}
备注
31 pages, 5 figures, 3 tables