通过幻觉早期检测优化扩散模型的资源消耗
计算机视觉与模式识别
2024-09-18 v1
摘要
扩散模型显著推进了生成式 AI，但在生成多个对象的复杂组合时遇到困难。由于最终结果严重依赖于初始种子，准确确保所需输出可能需要生成过程的多次迭代。这种重复不仅导致时间浪费，还增加了能耗，呼应了复杂生成任务中效率与准确性的挑战。为了解决这个问题，我们引入了 HEaD（幻觉早期检测），这是一种旨在扩散过程开始时迅速检测错误生成的新范式。HEaD 流水线将交叉注意力图与一个新指标——预测最终图像——相结合，利用生成过程早期阶段可用的信息来预测最终结果。我们证明，使用 HEaD 可以节省计算资源，并加速生成过程以获得完整的图像，即所有请求对象都被准确描绘的图像。我们的研究结果表明，在双对象场景下，HEaD 可以节省高达 12% 的生成时间，并突出了生成模型中早期检测机制的重要性。
引用
@article{arxiv.2409.10597,
title = {Optimizing Resource Consumption in Diffusion Models through Hallucination Early Detection},
author = {Federico Betti and Lorenzo Baraldi and Lorenzo Baraldi and Rita Cucchiara and Nicu Sebe},
journal= {arXiv preprint arXiv:2409.10597},
year = {2024}
}
备注
Accepted at ECCV Workshop 2024