基于核心标记注意力的文本到图像扩散模型种子选择提升方法
计算机视觉与模式识别
2026-05-20 v1 机器学习
摘要
文本到图像扩散模型能够合成高质量图像，但结果因随机种子而异：不同的初始种子常常导致图像质量和提示-图像对齐度的大幅变化。我们重新审视这种“种子效应”，并指出在前几步去噪步骤中，对提示核心标记（内容承载词）的注意力动态，能强烈预测最终生成质量。基于此观察，我们引入基于注意力的种子选择（ABSS），这是一种训练免费、即插即用的方法，利用跨注意力针对核心标记对给定提示的种子进行排序。ABSS无需微调，也不改变初始噪声；它对所有候选种子进行评分和排序，保留前k名以完成完整生成，其余则被丢弃，且不依赖固定的接受/拒绝阈值。该方法仅在推理阶段运行，可作为现有种子优化管道的轻量级预筛选添加器，以实现额外的性能提升。跨越三个基准，大量实验表明，ABSS在Stable Diffusion变体实现了在文本-图像对齐和视觉质量上的持续性改进，人类偏好和对齐指标亦佐证了这一点。
引用
@article{arxiv.2605.19532,
title = {Boosting Text-to-Image Diffusion Models via Core Token Attention-Based Seed Selection},
author = {Yunzhe Zhang and Hongfu Liu and Pengyu Hong},
journal= {arXiv preprint arXiv:2605.19532},
year = {2026}
}
备注
Preprint