Prompt-Softbox-Prompt：一种用于图像编辑的自由文本嵌入控制

虽然文本驱动的扩散模型在图像编辑中表现突出，但其文本嵌入的关键组件仍未得到充分探索。这些嵌入的模糊性和 entanglement 带来了精确编辑的挑战。本文对Stable Diffusion XL中的文本嵌入进行全面分析，提出三个关键洞察：（1）\textit{aug embedding} 保留了完整的文本语义，但通过ResBlocks仅以最小方式参与图像生成；更多文本信息会削弱其局部语义，同时保留大部分全局语义。（2）\textit{BOS} 和 \textit{padding embedding} 不包含任何语义信息。（3）\textit{EOS} 保存了所有单词的语义信息及风格信息。每个单词嵌入都重要且不会干扰其他嵌入的语义注入。基于这些发现，我们提出了PSP（\textbf{P}rompt-\textbf{S}oftbox-\textbf{P}rompt），一种无需训练的图像编辑方法，利用自由文本嵌入。PSP通过修改跨注意力层中的文本嵌入，并使用Softbox控制语义注入的特定区域，从而实现精确图像编辑。该技术可在不影响图像其他区域的前提下添加或替换物体。此外，PSP可通过简单替换文本嵌入实现风格迁移。广泛的实验表明，PSP在物体替换、物体添加和风格迁移等任务中表现卓越。我们的代码已公开于 https://github.com/yangyt46/PSP。