通过跨梯度训练实现跨领域泛化
机器学习
2018-05-02 v2 机器学习
摘要
我们提出了 CROSSGRAD，一种利用多领域训练数据来学习可泛化到新领域的分类器的方法。CROSSGRAD 不需要通过标记或未标记的数据进行适应阶段，也不需要新领域中的领域特征。大多数现有的领域自适应方法试图使用领域对抗训练等技术擦除领域信号。相比之下，CROSSGRAD 可以自由地将领域信号用于预测标签，前提是它能够防止在训练领域上过拟合。我们在贝叶斯设定下对该任务进行概念化，其中基于输入实例的领域引导扰动，将采样步骤实现为数据增强。CROSSGRAD 在彼此目标损失梯度扰动的样本上并行训练一个标签分类器和一个领域分类器。这使我们能够直接扰动输入，而无需在各种分布假设下分离并重新混合领域信号。在三个该设定自然适用的不同应用上的实证评估表明：（1）与通用实例扰动方法相比，领域引导扰动为未见领域提供了一致更好的泛化能力；（2）数据增强是一种比领域对抗训练更稳定、更准确的方法。
引用
@article{arxiv.1804.10745,
title = {Generalizing Across Domains via Cross-Gradient Training},
author = {Shiv Shankar and Vihari Piratla and Soumen Chakrabarti and Siddhartha Chaudhuri and Preethi Jyothi and Sunita Sarawagi},
journal= {arXiv preprint arXiv:1804.10745},
year = {2018}
}
备注
The first two authors contributed equally; Accepted at ICLR 2018