对抗训练减少信息并提升可迁移性
机器学习
2020-12-17 v4 计算机视觉与模式识别
机器学习
摘要
近期结果表明，除鲁棒性外，分类任务中对抗训练网络的特征还具备如可逆性之类的理想性质。后一性质看似有违直觉，因为学界广泛认为分类模型应仅捕获任务所需的最小信息（特征）。受此矛盾启发，我们研究了对抗训练与信息论之间的对偶关系。我们表明，对抗训练可提升向新任务的线性可迁移性，由此产生表征可迁移性与源任务精度之间的新权衡。我们在 CIFAR-10、CIFAR-100 和 ImageNet 上训练的鲁棒网络及多个数据集上验证了结果。此外，我们表明对抗训练降低了表征关于输入的 Fisher 信息以及权重关于任务的 Fisher 信息，并提供了理论论证以解释确定性网络的可逆性而不违背最小性原则。最后，我们利用理论见解显著提升了通过反演重建图像的质量。
引用
@article{arxiv.2007.11259,
title = {Adversarial Training Reduces Information and Improves Transferability},
author = {Matteo Terzi and Alessandro Achille and Marco Maggipinto and Gian Antonio Susto},
journal= {arXiv preprint arXiv:2007.11259},
year = {2020}
}