MasaCtrl：用于一致图像合成与编辑的免调参互自注意力控制
计算机视觉与模式识别
2023-04-18 v1
摘要
尽管大规模文本到图像生成和文本条件图像编辑取得了成功，现有方法仍难以产生一致的生成与编辑结果。例如，生成方法通常无法合成同一物体/角色但具有不同视角或姿态的多张图像。同时，现有编辑方法要么无法实现有效的复杂非刚性编辑同时保持整体纹理与身份，要么需要耗时的微调以捕捉图像特定的外观。在本文中，我们开发了 MasaCtrl，一种免调参（tuning-free）方法，可同时实现一致图像生成与复杂非刚性图像编辑。具体而言，MasaCtrl 将扩散模型中现有的自注意力转换为互自注意力，从而可从源图像中查询相关的局部内容与纹理以保持一致性。为了进一步缓解前景与背景之间的查询混淆，我们提出了一种掩码引导的互自注意力策略，其中掩码可轻松从交叉注意力图中提取。大量实验表明，所提出的 MasaCtrl 在一致图像生成与复杂非刚性真实图像编辑中均能产出令人印象深刻的结果。
引用
@article{arxiv.2304.08465,
title = {MasaCtrl: Tuning-Free Mutual Self-Attention Control for Consistent Image Synthesis and Editing},
author = {Mingdeng Cao and Xintao Wang and Zhongang Qi and Ying Shan and Xiaohu Qie and Yinqiang Zheng},
journal= {arXiv preprint arXiv:2304.08465},
year = {2023}
}
备注
Project available at https://ljzycmd.github.io/projects/MasaCtrl