Point and Instruct：通过统一直接操作与文本指令实现精确图像编辑
人工智能
2024-02-14 v1 人机交互
摘要
机器学习推动了强大系统的发展，使其能够根据自然语言指令编辑图像。然而，在许多常见场景中，用户仅凭文本难以指定精确的图像变换。例如，在包含多只狗的图像中，很难选定特定的一只并将其移动到精确位置。仅使用文本完成此操作需要复杂的提示，既要消除目标狗的歧义，又要描述目的地。然而，直接操作非常适用于选择对象和指定位置等视觉任务。我们提出了 Point and Instruct，这是一个将熟悉的直接操作与文本指令无缝结合的系统，旨在实现精确的图像操控。利用我们的系统，用户可以视觉化地标记对象和位置，并在文本指令中引用它们。这使得用户能够同时受益于自然语言的视觉描述能力和直接操作的空间精确性。
引用
@article{arxiv.2402.07925,
title = {Point and Instruct: Enabling Precise Image Editing by Unifying Direct Manipulation and Text Instructions},
author = {Alec Helbling and Seongmin Lee and Polo Chau},
journal= {arXiv preprint arXiv:2402.07925},
year = {2024}
}