利用学习到的优化器使模型对输入噪声具有鲁棒性
机器学习
2019-06-11 v1 机器学习
摘要
最先进的视觉模型在测试与训练数据来自同一分布时，可在图像分类任务上取得超越人类的性能。然而，当模型在受损图像（例如由于尺度变化、平移或亮度/对比度偏移）上测试时，性能显著下降。在此，我们探索元训练一个学习到的优化器的可能性，该优化器可训练图像分类模型使其对常见图像损坏具有鲁棒性。具体而言，我们感兴趣的是训练对训练数据中不存在的噪声分布更具鲁棒性的模型。我们发现，元训练为生成对高斯噪声鲁棒的模型而学习到的优化器，相比 Adam 等传统优化器，所训练出的模型对其他尺度的高斯噪声更具鲁棒性。当以更一般的噪声分布为目标时，元训练的效果更为复杂，但在半数保留的损坏任务上带来了性能提升。我们的结果表明，元学习为研究和改善深度学习模型的鲁棒性提供了一种新途径。
引用
@article{arxiv.1906.03367,
title = {Using learned optimizers to make models robust to input noise},
author = {Luke Metz and Niru Maheswaranathan and Jonathon Shlens and Jascha Sohl-Dickstein and Ekin D. Cubuk},
journal= {arXiv preprint arXiv:1906.03367},
year = {2019}
}