无对抗训练的不变表示学习
机器学习
2019-12-03 v4 机器学习
摘要
对指定因素变化保持不变的数据表示对广泛的问题都很有用：消除预测问题中的潜在偏差、控制协变量的影响，以及解耦有意义的变异因素。遗憾的是，学习对任意干扰因素具有不变性同时又对其他任务保持有用的表示是具有挑战性的。现有方法将任务性能与不变性之间的权衡以对抗的方式呈现，使用迭代极小极大优化。我们表明对抗训练是不必要的，有时甚至适得其反；我们转而将不变表示学习表述为一个可直接优化的单一信息论目标。我们证明，该方法在学习的公平表示和可控制变换的生成建模方面，匹配或超越了最先进的对抗方法的性能。
引用
@article{arxiv.1805.09458,
title = {Invariant Representations without Adversarial Training},
author = {Daniel Moyer and Shuyang Gao and Rob Brekelmans and Greg Ver Steeg and Aram Galstyan},
journal= {arXiv preprint arXiv:1805.09458},
year = {2019}
}
备注
NeurIPS 2018, with corrections