DiffBrush：仅凭双手绘制艺术
计算机视觉与模式识别
2025-03-03 v1 多媒体
摘要
近年来，图像生成与编辑算法的快速发展使得普通用户能够生成逼真的图像。然而，当前的 AI 绘画生态系统主要依赖于文本驱动的扩散模型（T2I），这在准确捕捉用户需求方面带来了挑战。此外，实现与其他模态的兼容性会产生巨大的训练成本。为此，我们引入了 DiffBrush，它兼容 T2I 模型，并允许用户绘制和编辑图像。通过操作和调整扩散模型的内部表示，DiffBrush 引导模型生成的图像向用户手绘草图收敛，以满足用户的具体需求，且无需额外训练。DiffBrush 通过在扩散模型的去噪过程中持续引导潜空间和实例级注意力图，实现了对图像中对象的颜色、语义和实例的控制。此外，我们提出了一种潜空间再生方法，对扩散模型中随机采样的噪声进行优化，从而获得更好的图像生成布局。最终，用户只需在画布上粗略绘制实例的掩码（颜色可接受），DiffBrush 便能在相应位置自然生成相应的实例。
引用
@article{arxiv.2502.20904,
title = {DiffBrush:Just Painting the Art by Your Hands},
author = {Jiaming Chu and Lei Jin and Tao Wang and Junliang Xing and Jian Zhao},
journal= {arXiv preprint arXiv:2502.20904},
year = {2025}
}