基于潜空间映射的域翻译

在本文中，我们研究多域翻译问题：给定域 A 中的一个元素 $a$，我们希望在另一域 B 中生成对应的样本 $b$，反之亦然。在多个域中获取监督可能是一项繁琐的任务，因此当以成对形式 $(a,b)\sim A\times B$ 提供监督，且当仅有 $a\sim A$ 或仅有 $b\sim B$ 可用时利用可能的非配对数据，我们提出从一域向另一域学习该翻译。我们引入了一个称为潜空间映射（\model）的新统一框架，该框架利用流形假设以从每个域学习一个潜空间。与现有方法不同，我们提出通过使用可用域学习每对域之间的依赖关系来进一步正则化每个潜空间。我们在三个任务上评估了我们的方法：i) 带图像翻译的合成数据集，ii) 医学图像语义分割的真实世界任务，以及 iii) 人脸关键点检测的真实世界任务。