OptiPrune：通过注意力引导的噪声与动态 token 选择提升提示-图像一致性
计算机视觉与模式识别
2025-07-02 v1
摘要
文本到图像扩散模型常在保持高效性以便于部署于资源受限硬件的同时，难以实现对生成图像与文本提示之间精确的语义对齐。现有方法要么通过噪声优化获得显著计算开销，要么通过激进剪裁 token 来牺牲语义保真度。在本工作中，我们提出 OptiPrune，一个统一框架，同时解决上述两个挑战：(1) 我们引入受注意力得分引导的分布感知初始噪声优化模块，将初始潜在噪声引导至语义有意义的区域，从而缓解主体被忽视与特征交叉等问题；(2) 我们设计一种硬件高效的方法，通过 patch 级相似性选择代表性 base token，将随机性注入以增强泛化性，并在注意力操作前通过最大相似性复制恢复被剪裁的 token。我们的方法在噪声优化期间保持高斯先验（Gaussian prior），且无需牺牲对齐质量即可实现高效推理。在包含 Animal-Animal 等基准数据集上的实验中，OptiPrune 以显著降低的计算成本实现了最先进的提示-图像一致性。
引用
@article{arxiv.2507.00789,
title = {OptiPrune: Boosting Prompt-Image Consistency with Attention-Guided Noise and Dynamic Token Selection},
author = {Ziji Lu},
journal= {arXiv preprint arXiv:2507.00789},
year = {2025}
}