面向非对齐数据的图像变换的上下文损失
计算机视觉与模式识别
2018-07-19 v4 机器学习
摘要
为图像变换问题训练的前馈 CNN 依赖于衡量生成图像与目标图像相似度的损失函数。大多数常用损失函数假定这些图像在空间上对齐，并比较对应位置的像素。然而，对于许多任务，对齐的图像训练对并不可用。我们提出一种无需对齐的替代损失函数，从而为新问题空间提供有效且简单的解决方案。我们的损失基于上下文与语义——它比较具有相似语义含义的区域，同时考虑整幅图像的上下文。因此，例如将一张人脸的风格迁移到另一张人脸时，它会将眼对眼、嘴对嘴地翻译。我们的代码见 https://www.github.com/roimehrez/contextualLoss
引用
@article{arxiv.1803.02077,
title = {The Contextual Loss for Image Transformation with Non-Aligned Data},
author = {Roey Mechrez and Itamar Talmi and Lihi Zelnik-Manor},
journal= {arXiv preprint arXiv:1803.02077},
year = {2018}
}
备注
ECCV Oral. Paper web page: http://cgm.technion.ac.il/Computer-Graphics-Multimedia/Software/contextual/