ImageBrush：面向基于范例图像处理的视觉上下文指令学习
计算机视觉与模式识别
2023-08-03 v1
摘要
尽管语言引导的图像处理取得了显著进展，如何指导处理过程以忠实反映人类意图这一挑战依然存在。使用自然语言对处理任务进行准确且全面的描述是费力的，有时甚至是不可能的，这主要源于语言表达中固有的不确定性与歧义。是否可以在不借助外部跨模态语言信息的情况下完成图像处理？若此可能性存在，固有的模态鸿沟将被轻松消除。本文提出一种新颖的处理方法，称为 ImageBrush，其学习视觉指令以实现更精确的图像编辑。我们的核心思想是采用一对变换图像作为视觉指令，这不仅精确捕捉人类意图，也便于真实场景中的使用。捕捉视觉指令尤其具有挑战性，因为这涉及仅从视觉演示中提取潜在意图，并将该操作应用于新图像。为应对此挑战，我们将视觉指令学习表述为基于扩散的修复问题，其中上下文信息通过迭代生成过程被充分利用。我们精心设计了视觉提示编码器，以增强模型揭示视觉指令背后人类意图的能力。大量实验表明，我们的方法生成了符合演示中蕴含变换的引人入胜的处理结果。此外，我们的模型在姿态迁移、图像翻译和视频修复等多种下游任务上展现出鲁棒的泛化能力。
引用
@article{arxiv.2308.00906,
title = {ImageBrush: Learning Visual In-Context Instructions for Exemplar-Based Image Manipulation},
author = {Yasheng Sun and Yifan Yang and Houwen Peng and Yifei Shen and Yuqing Yang and Han Hu and Lili Qiu and Hideki Koike},
journal= {arXiv preprint arXiv:2308.00906},
year = {2023}
}