Magic Insert：风格感知的拖拽插入
计算机视觉与模式识别
2024-07-03 v1 人工智能
图形学
人机交互
机器学习
摘要
我们提出Magic Insert方法，用于将用户提供的图像中的主体以物理方式拖入不同风格的目标图像中，同时匹配目标图像的风格。本工作形式化了风格感知拖拽插入的问题，提出了解决方法，包括两个子问题：风格感知个性化和风格化图像中的真实物体插入。对于风格感知个性化，我们首先使用LoRA和学习文本标记在主体图像上微调预训练的文本到图像扩散模型，然后将其与目标风格的CLIP表示融合。对于物体插入，我们使用引导域适应技术，将特定于领域的光照 realism物体插入模型适应到多样化艺术风格的域。总体而言，该方法显著优于传统方法，如图像修复。最后，我们提出了一个数据集SubjectPlop，以促进该领域的评估和未来进展。项目页面：https://magicinsert.github.io/
引用
@article{arxiv.2407.02489,
title = {Magic Insert: Style-Aware Drag-and-Drop},
author = {Nataniel Ruiz and Yuanzhen Li and Neal Wadhwa and Yael Pritch and Michael Rubinstein and David E. Jacobs and Shlomi Fruchter},
journal= {arXiv preprint arXiv:2407.02489},
year = {2024}
}
备注
Project page: https://magicinsert.github.io/