Virgo：重现 o1 类多模态大语言模型的初步探索
计算机视觉与模式识别
2025-02-06 v2 人工智能
摘要
最近，基于大型语言模型 (LLM) 的慢思考推理系统因扩展推理期限而广受关注。也有越来越多的研究试图将这一能力应用于多模态大语言模型 (MLLM)。鉴于 MLLM 处理来自不同模态的更复杂数据语义，这在实现多模态慢思考系统方面似乎更具挑战性。为此，本文探索一种简单方法：通过对能力较强的 MLLM 使用少量文本长程思考数据进行微调，从而构建一个多模态慢思考系统，Virgo (Visual reasoning with long thought)。我们发现，这些以自然语言表达的长程推理过程可以有效地转移到 MLLM 中。此外，这些文本推理数据似乎比视觉推理数据更有效地激发 MLLM 的慢思考能力。尽管本工作仍处于初步阶段，但它表明慢思考能力本质上与语言模型组件有关，可跨模态或跨领域转移。这一发现可用于指导开发更强大的慢思考推理系统。我们在 https://github.com/RUCAIBox/Virgo 上发布了我们的资源。
引用
@article{arxiv.2501.01904,
title = {Virgo: A Preliminary Exploration on Reproducing o1-like MLLM},
author = {Yifan Du and Zikang Liu and Yifan Li and Wayne Xin Zhao and Yuqi Huo and Bingning Wang and Weipeng Chen and Zheng Liu and Zhongyuan Wang and Ji-Rong Wen},
journal= {arXiv preprint arXiv:2501.01904},
year = {2025}
}
备注
Technical Report on Slow Thinking with LLMs: Visual Reasoning