基于隐藏状态的微型推理时间扩展
计算机视觉与模式识别
2026-03-26 v2 人工智能
多媒体
摘要
推理时间扩展已成为通过使用验证器对候选输出进行评分和选择来提高生成模型在测试时性能的有效方法。常见做法是采用多模态大语言模型(MLLM)作为验证器，虽可提升性能，但引入显著的推理时间成本。事实上，扩散管道在自编码器潜空间中运行以降低计算量，但MLLM验证器仍需对候选解码到像素空间并重新编码到视觉嵌入空间，导致冗余且昂贵的操作。本文提出一种隐藏状态验证器(VHS)，该验证器直接作用于扩散转换器(DiT)单步生成器的中间隐藏表示。VHS在无需解码到像素空间的情况下分析生成器特征，从而在按候选数量减少验证成本的同时提升或匹配MLLM类方法的性能。我们表明，在仅少量候选数目的微型推理预算下，VHS实现更高效的推理时间扩展，使联合生成与验证时间降低63.3%，计算FLOPs降低51%，VRAM使用降低14.5%，同时以相同推理时间预算实现+2.7%的GenEval提升。
引用
@article{arxiv.2603.22492,
title = {Tiny Inference-Time Scaling with Latent Verifiers},
author = {Davide Bucciarelli and Evelyn Turri and Lorenzo Baraldi and Marcella Cornia and Lorenzo Baraldi and Rita Cucchiara},
journal= {arXiv preprint arXiv:2603.22492},
year = {2026}
}
备注
Findings of CVPR 2026 - Code at: https://aimagelab.github.io/VHS/