模型已知最佳噪声：基于注意力的贝叶斯主动噪声选择
计算机视觉与模式识别
2026-03-04 v3 人工智能
摘要
初始噪声的选择严重影响视频扩散的质量和提示对齐；相同提示下的不同随机种子可能产生截然不同的结果。虽然近期方法使用外部设计的先验（如频率滤波或帧间平滑），但常常忽略表明天然更优随机种子的内部模型信号。为此，我们提出ANSE（Active Noise Selection for Generation），一个模型感知的框架，通过量化基于注意力的不确定性来选择高质量随机种子。其核心是BANSA（Bayesian Active Noise Selection via Attention），一种衡量多个随机注意力样本间熵不一致性的获取函数，用于估计模型置信度和一致性。为实现高效的推理部署，我们引入BANSA的伯努利掩码近似，从单个扩散步骤和一部分信息性注意力层估计得分。实验表明，在多样化的文本到视频主干模型上，ANSE显著提升了视频质量和时序连贯性，同时仅增加极小的推理开销，为视频扩散中的噪声选择提供了一种原则且通用的方法。
引用
@article{arxiv.2505.17561,
title = {Model Already Knows the Best Noise: Bayesian Active Noise Selection via Attention in Video Diffusion Model},
author = {Kwanyoung Kim and Sanghyun Kim},
journal= {arXiv preprint arXiv:2505.17561},
year = {2026}
}
备注
Cam ready version of ICLR 26