对抗训练通过更好的表征助力迁移学习
机器学习
2021-06-21 v1
摘要
迁移学习旨在利用在源数据上预训练的模型高效适应目标场景，其中仅有限数据可用于模型微调。近期工作通过实证表明，在源数据上进行对抗训练可提升模型迁移至新领域的能力。然而，这一现象的成因尚不清楚。本文提供一个理论模型，严格分析对抗训练如何助力迁移学习。我们证明，在源数据上的对抗训练可产生可证明更优的表征，因此在该表征之上进行微调能得到对目标数据更准确的预测器。我们进一步从理论和实证两方面证明，源数据上的半监督学习同样可通过改善表征来提升迁移学习。此外，在半监督学习之上再进行对抗训练可进一步提升可迁移性，表明这两种方法在表征上具有互补增益。我们在主流数据集与深度学习架构上以实验支撑了上述理论。
引用
@article{arxiv.2106.10189,
title = {Adversarial Training Helps Transfer Learning via Better Representations},
author = {Zhun Deng and Linjun Zhang and Kailas Vodrahalli and Kenji Kawaguchi and James Zou},
journal= {arXiv preprint arXiv:2106.10189},
year = {2021}
}