任务无关的鲁棒表示学习
机器学习
2022-03-16 v1 计算机视觉与模式识别
摘要
已有报道指出，深度学习模型对其输入中微小但刻意选择的扰动极其脆弱。特别地，一个深度网络尽管在干净图像上具备近最优准确率，却常将带有最坏情况但人眼难以察觉扰动（所谓对抗样本）的图像误分类。为解决此问题，已有大量研究探讨网络的训练过程以提升其鲁棒性。然而，迄今多数研究聚焦于监督学习情形。随着自监督学习方法日益流行，研究和提升其所产生表示在下游任务中的鲁棒性同样重要。本文中，我们以任务无关的方式研究利用无标签数据的鲁棒表示学习问题。具体而言，我们首先基于预测模型（基于所学表示）在干净数据上的损失和一个鲁棒性正则项，推导其在任意下游任务上对抗损失的上界。此外，该正则项与任务无关，因此我们建议在表示学习阶段直接最小化它，以使下游预测模型更鲁棒。大量实验表明，相较相关基线，我们的方法取得了更优的对抗性能。
引用
@article{arxiv.2203.07596,
title = {Task-Agnostic Robust Representation Learning},
author = {A. Tuan Nguyen and Ser Nam Lim and Philip Torr},
journal= {arXiv preprint arXiv:2203.07596},
year = {2022}
}