基于循环重构的解耦
机器学习
2022-11-23 v2
摘要
深度神经网络已展现出从数据中自动提取有意义特征的能力。然而,在有监督学习中,特定于训练所用数据集但与当前任务无关的信息可能仍编码在提取的表示中。这些剩余信息引入了领域特定的偏置,削弱了泛化性能。在这项工作中,我们提出将信息拆分为任务相关表示及其互补的上下文表示。我们提出一种结合对抗特征预测器和循环重构的原始方法,在单领域有监督情形下解耦这两种表示。随后我们将该方法适配到无监督领域自适应问题,即训练一个能够在源领域和目标领域上都表现的模型。特别地,我们的方法促进了目标领域中的解耦,尽管缺乏训练标签。这使得来自两个领域的任务特定信息得以隔离并投影到公共表示中。任务特定表示允许从源领域获取的知识高效迁移到目标领域。在单领域情形下,我们在信息检索任务上展示了我们表示的质量以及由锐化任务特定表示带来的泛化益处。我们随后在几个经典的领域自适应基准上验证了所提方法,并阐明了解耦对领域自适应的益处。
引用
@article{arxiv.2112.12980,
title = {Disentanglement by Cyclic Reconstruction},
author = {David Bertoin and Emmanuel Rachelson},
journal= {arXiv preprint arXiv:2112.12980},
year = {2022}
}