迁移共享语义表示的变换
计算机视觉与模式识别
2019-03-05 v1
摘要
在具备良好的图像理解能力后，我们能否操控图像的高层语义表示？此类变换操作可用于生成或检索具有期望修改的相似图像（例如将海滩背景改为街道背景）；类似能力已在零样本学习、属性组合与属性操控图像检索中得到展示。在本工作中，我们展示了如何通过在另一域上学习变换再迁移到目标域，从而在无训练样本的情况下学习变换。这若可行需满足：第一，变换训练数据在另一域中更易获取；第二，两域共享相似语义，从而可在共享嵌入空间中学习变换。我们在一个图像检索任务上验证了这一点，其中查询为一幅图像外加一个变换说明（例如：检索与此图相似但背景为街道而非海滩的图像）。在一个实验中，我们将变换从合成的2D斑点图像迁移到3D渲染图像；在另一个实验中，我们从文本域迁移到自然图像域。
引用
@article{arxiv.1903.00793,
title = {Let's Transfer Transformations of Shared Semantic Representations},
author = {Nam Vo and Lu Jiang and James Hays},
journal= {arXiv preprint arXiv:1903.00793},
year = {2019}
}