通过数据增强损失一致性实现鲁棒性
机器学习
2023-01-25 v3 人工智能
计算与语言
计算机视觉与模式识别
摘要
尽管通过经验风险最小化（ERM）进行的深度学习在多种复杂任务上取得了人类水平的性能，但ERM对分布偏移或对抗攻击并不鲁棒。合成数据增强后接经验风险最小化（DA-ERM）是一种简单且广泛使用的方法，用于改善ERM中的鲁棒性。此外，一致性正则化可通过迫使原始样本与增强样本的表示相似来进一步提高模型的鲁棒性。然而，现有的一致性正则化方法不适用于协变数据增强，其中增强样本中的标签依赖于增强函数。例如，当我们用新的命名实体增强数据时，对话状态与命名实体协变。在本文中，我们提出数据增强损失不变正则化（DAIR），一种直接应用于损失层面而非中间特征的一致性正则化简单形式，使其广泛适用于不变和协变数据增强，而与网络架构、问题设置和任务无关。我们将DAIR应用于涉及协变数据增强的真实学习问题：鲁棒神经面向任务对话状态跟踪和鲁棒视觉问答。我们还将DAIR应用于涉及不变数据增强的任务：鲁棒回归、针对对抗攻击的鲁棒分类以及分布偏移下的鲁棒ImageNet分类。我们的实验表明，DAIR以极小的边际计算成本持续优于ERM和DA-ERM，并在多个涉及协变数据增强的基准中创下新的SOTA结果。我们所有实验的代码可在 https://github.com/optimization-for-data-driven-science/DAIR.git 获取。
引用
@article{arxiv.2110.11205,
title = {Robustness through Data Augmentation Loss Consistency},
author = {Tianjian Huang and Shaunak Halbe and Chinnadhurai Sankar and Pooyan Amini and Satwik Kottur and Alborz Geramifard and Meisam Razaviyayn and Ahmad Beirami},
journal= {arXiv preprint arXiv:2110.11205},
year = {2023}
}
备注
40 pages