基于捷径循环一致性的草图学习
计算机视觉与模式识别
2018-05-02 v1
摘要
看见即草绘——自由手绘草图自然地在人类视觉与机器视觉间建立联系。本文提出一种将物体照片转换为草图、模仿人类绘草图过程的新方法。这是一项极具挑战的任务，因为照片与草图域差异显著。此外，即便描绘参考照片中同一物体实例，人类草图也呈现出不同层次的精细度与抽象度。这意味着即便存在照片-草图对，它们也仅为学习转换模型提供弱监督信号。相较于现有求解 D(E(photo)) -> sketch 问题的监督方法（其中 E() 与 D() 分别表示编码器与解码器），我们利用逆问题（如 D(E(sketch)) -> photo），并结合域内重建的无监督学习任务，全部置于多任务学习框架中。相较于现有基于循环一致性（即 D(E(D(E(photo)))) -> photo）的无监督方法，我们引入在编码器瓶颈处强制的捷径一致性（如 D(E(photo)) -> photo）以利用额外的自监督。定性与定量结果均表明所提模型优于若干最先进的替代方法。我们还展示合成草图可用于训练更好的细粒度基于草图的图像检索（FG-SBIR）模型，有效缓解草图数据稀缺问题。
引用
@article{arxiv.1805.00247,
title = {Learning to Sketch with Shortcut Cycle Consistency},
author = {Jifei Song and Kaiyue Pang and Yi-Zhe Song and Tao Xiang and Timothy Hospedales},
journal= {arXiv preprint arXiv:1805.00247},
year = {2018}
}
备注
To appear in CVPR2018