SpaceEdit：面向开放域图像编辑的统一编辑空间学习
计算机视觉与模式识别
2021-12-02 v1 图形学
摘要
近年来，大型预训练模型（如 BERT、StyleGAN、CLIP）在其各自领域的多种下游任务上展现出强大的知识迁移与泛化能力。受这些工作的启发，本文提出一种用于开放域图像编辑的统一模型，专注于开放域图像的颜色与色调调整，同时保留其原始内容与结构。我们的模型学习了一个比许多现有照片编辑软件所使用的操作空间（如对比度、亮度、色彩曲线）更具语义性、更直观且更易操控的统一编辑空间。我们的模型属于由图像编码器与解码器组成的图像到图像翻译框架，并在前后图像对上训练以产生多模态输出。我们表明，通过将图像对反演到所学编辑空间的隐变量编码中，我们的模型可用于语言引导图像编辑、个性化编辑、编辑风格聚类、检索等多种下游编辑任务。我们在实验中深入研究了该编辑空间的独特性质，并在上述任务上展示了优越性能。
引用
@article{arxiv.2112.00180,
title = {SpaceEdit: Learning a Unified Editing Space for Open-Domain Image Editing},
author = {Jing Shi and Ning Xu and Haitian Zheng and Alex Smith and Jiebo Luo and Chenliang Xu},
journal= {arXiv preprint arXiv:2112.00180},
year = {2021}
}