CountSteer：引导扩散模型注意力以实现对象计数
计算机视觉与模式识别
2025-12-02 v3
摘要
文本到图像扩散模型生成逼真且连贯的图像，但常常无法遵循文本中的数值指令，暴露了语言与视觉表征之间的鸿沟。有趣的是，我们发现这些模型并非对数字完全盲目——它们在内部信号上会因输出是否满足指定计数而呈现一致的偏移。这一观察表明，模型已隐式编码了关于数值正确性的概念，可被利用以更精确地引导生成。基于此直觉，我们提出了 CountSteer，一种在推理阶段通过引导模型的跨注意力隐藏状态来提高指定对象计数生成精度的训练自由方法。在实验中，CountSteer 在不牺牲视觉质量的前提下，将对象计数精度提升约 4%，展示了一条简单而有效的文本到图像生成可控性与语义可靠性提升之路。
引用
@article{arxiv.2511.11253,
title = {CountSteer: Steering Attention for Object Counting in Diffusion Models},
author = {Hyemin Boo and Hyoryung Kim and Myungjin Lee and Seunghyeon Lee and Jiyoung Lee and Jang-Hwan Choi and Hyunsoo Cho},
journal= {arXiv preprint arXiv:2511.11253},
year = {2025}
}
备注
Accepted to AAAI 2026 Workshop on Shaping Responsible Synthetic Data in the Era of Foundation Models (RSD)