基于域特定编码器/解码器的无监督多域图像翻译
计算机视觉与模式识别
2017-12-07 v1
摘要
无监督图像到图像翻译如今取得了极为先进的发展。然而，近期的方法主要聚焦于一个模型处理两个域，在一般设定下要求 n 个域之间自由相互转换时，可能面临 O(n^2) 训练时间与模型参数的沉重负担。为解决此问题，我们提出一种新颖且统一的框架 Domain-Bank，其由一个全局共享自编码器和 n 个域特定编码器/解码器组成，假设可投影出一个通用共享隐空间。由此，我们在模型参数上获得 O(n) 复杂度，并大幅缩减时间开销。除高效率外，我们在多项具有挑战性的无监督图像翻译任务上展示了与最先进方法相当（甚至更优）的图像翻译结果，包括人脸图像翻译、时尚服饰翻译与绘画风格翻译。我们还将所提框架应用于域适应，并在数字基准数据集上取得最先进的性能。此外，得益于域特定解码器及通用共享隐空间的显式表示，我们也能够开展增量学习以添加新的域编码器/解码器。通过融合相应的解码器，还可获得不同域表示的线性组合。
引用
@article{arxiv.1712.02050,
title = {Unsupervised Multi-Domain Image Translation with Domain-Specific Encoders/Decoders},
author = {Le Hui and Xiang Li and Jiaxin Chen and Hongliang He and Chen gong and Jian Yang},
journal= {arXiv preprint arXiv:1712.02050},
year = {2017}
}