基于内外注意力的形状引导扩散
计算机视觉与模式识别
2024-04-02 v3 人工智能
机器学习
摘要
我们引入精确的物体轮廓作为文本到图像扩散模型中一种新的用户控制形式，称之为形状引导扩散（Shape-Guided Diffusion）。我们这种无需训练的方法在反演与生成过程中使用内外注意力（Inside-Outside Attention）机制，将形状约束应用于交叉注意力与自注意力图。我们的机制划定哪些空间区域为物体（内部）与背景（外部），进而将编辑关联到正确的区域。我们在形状引导编辑任务上展示了方法的有效性，该任务要求模型依据文本提示与物体掩码替换物体。我们基于 MS-COCO 整理了新的 ShapePrompts 基准，并在形状保真度上取得了 SOTA 结果，且根据自动指标与标注者评分，文本对齐或图像真实感均未下降。我们的数据与代码将在 https://shape-guided-diffusion.github.io 提供。
引用
@article{arxiv.2212.00210,
title = {Shape-Guided Diffusion with Inside-Outside Attention},
author = {Dong Huk Park and Grace Luo and Clayton Toste and Samaneh Azadi and Xihui Liu and Maka Karalashvili and Anna Rohrbach and Trevor Darrell},
journal= {arXiv preprint arXiv:2212.00210},
year = {2024}
}
备注
WACV 2024