为什么推理至关重要？多模态推理领域进展概述
计算与语言
2025-11-26 v2 机器学习
摘要
推理是人类智慧的核心，使其能够在多样化任务中实现结构化的问题解决。近期大型语言模型（LLM）的发展大大增强了其在算术、常识和符号领域的推理能力。然而，有效地将这些能力扩展到多模态环境中——即模型必须整合视觉和文本输入——仍然是一个重大挑战。多模态推理引入了诸多复杂性，例如处理跨模态之间可能存在的冲突信息，这需要模型采用更先进的解释策略。解决这些挑战不仅需要复杂的算法，也需要健全的评估方法来衡量推理的准确性和连贯性。本文提供了关于文本和多模态LLM中推理技术的简洁而有洞察力的概述。通过全面且最新的比较，我们清晰地提出了推理的核心挑战和机遇，突出了后训练优化和测试时推理的实用方法。我们的工作提供了宝贵的见解和指导，搭建了理论框架与实际实现之间的桥梁，并为未来研究设定了明确的方向。
引用
@article{arxiv.2504.03151,
title = {Why Reasoning Matters? A Survey of Advancements in Multimodal Reasoning (v1)},
author = {Jing Bi and Susan Liang and Xiaofei Zhou and Pinxin Liu and Junjia Guo and Yunlong Tang and Luchuan Song and Chao Huang and Ali Vosoughi and Guangyu Sun and Jinxi He and Jiarui Wu and Shu Yang and Daoan Zhang and Chen Chen and Lianggong Bruce Wen and Zhang Liu and Jiebo Luo and Chenliang Xu},
journal= {arXiv preprint arXiv:2504.03151},
year = {2025}
}