中文

展示、注意力与翻译:基于自正则化与注意力的无监督图像翻译

计算机视觉与模式识别 2019-06-06 v3

摘要

两个领域之间的图像翻译是一类旨在学习从源领域输入图像到目标领域输出图像映射的问题。它已被应用于众多领域,如数据增强、领域自适应和无监督训练。当无法获取成对训练数据时,图像翻译成为一个不适定问题。我们通过假设翻译后的图像需要与原始图像在感知上相似且看起来像是从新领域抽取出来的,对该问题进行约束,并提出了一种简单而有效的图像翻译模型,该模型由一个经自正则化项和对抗项训练的单一生成器组成。我们进一步注意到,现有的图像翻译技术对感兴趣的主体不敏感,常对输入引入不想要的改变或伪影。因此我们提出添加一个注意力模块来预测注意力图以引导图像翻译过程。该模块学习关注图像的关键部分,同时保持其他一切不变,从根本上避免了不良的伪影或改变。预测的注意力图也为无监督分割和显著性检测等应用打开了大门。大量实验与评估表明,我们的模型虽然更简单,却取得了明显优于现有图像翻译方法的性能。

关键词

引用

@article{arxiv.1806.06195,
  title  = {Show, Attend and Translate: Unsupervised Image Translation with Self-Regularization and Attention},
  author = {Chao Yang and Taehwan Kim and Ruizhe Wang and Hao Peng and C. -C. Jay Kuo},
  journal= {arXiv preprint arXiv:1806.06195},
  year   = {2019}
}

备注

Accepted at IEEE Transactions on Image Processing (TIP)