探索链式多模态思维的推理时间扩展：一项初步研究
计算与语言
2025-05-27 v2
摘要
最近的研究表明，链式思维（CoT）的推理时间扩展是解决多模态推理任务的有前景的方法。虽然已有研究主要聚焦于基于文本的思考，但将视觉和文本两种模态整合到思考过程中仍未得到探索。本研究旨在通过推理时间扩展实现多模态思考，以填补这一空白。为提供全面的分析，本文系统性地检验了在10个具有挑战性任务（涵盖多个领域）上流行的基于采样和基于树搜索的推理时间扩展方法。此外，我们统一采用一致性增强型验证器，以确保在不同思考范式下，这两种方法都能获得有效指导。结果表明，多模态思考在常规基于文本的单一模态思考方面表现更好，融合两种思考类型还能促进更具多样性的思考。尽管具有这些优势，多模态思考在处理更丰富视觉输入时需要更高的 token 消耗，这在实际应用中引发了担忧。我们希望本研究的发现——即这一研究方向的优势与不足——能激发该领域的后续工作。
引用
@article{arxiv.2502.11514,
title = {Investigating Inference-time Scaling for Chain of Multi-modal Thought: A Preliminary Study},
author = {Yujie Lin and Ante Wang and Moye Chen and Jingyao Liu and Hao Liu and Jinsong Su and Xinyan Xiao},
journal= {arXiv preprint arXiv:2502.11514},
year = {2025}
}