Skywork R1V：基于链式思维的多模态推理先驱
计算机视觉与模式识别
2025-06-10 v2 计算与语言
摘要
我们介绍Skywork R1V，这是一种将 R1 系列大型语言模型(LLM)扩展至视觉模态的方法，采用高效多模态迁移技术。凭借轻量级的视觉投影器，Skywork R1V 实现了无需对基础语言模型或视觉编码器进行重新训练即可实现无缝的多模态适应。为加强视觉-文本对齐，本文提出了一种混合优化策略，将迭代监督微调(SFT)与相对策略优化(GRPO)相结合，显著提升了跨模态集成效率。此外，我们引入一种自适应长度链式思维(distillation)方法，用于推理数据生成。该方法动态优化推理链长度，从而提高了推理效率，防止过度思考。经验评估表明，仅凭38B参数，Skywork R1V 便实现了竞争性能，在 MMMU benchmark 上取得69.0分，在 MathVista 上取得67.5分。同时，它保持了强大的文本推理能力，AIME 上取得72.0分，MATH500 上取得94.0分。Skywork R1V 模型权重已公开发布，以促进开放性和可重复性。
引用
@article{arxiv.2504.05599,
title = {Skywork R1V: Pioneering Multimodal Reasoning with Chain-of-Thought},
author = {Yi Peng and Peiyu Wang and Xiaokun Wang and Yichen Wei and Jiangbo Pei and Weijie Qiu and Ai Jian and Yunzhuo Hao and Jiachun Pan and Tianyidan Xie and Li Ge and Rongxian Zhuang and Xuchen Song and Yang Liu and Yahui Zhou},
journal= {arXiv preprint arXiv:2504.05599},
year = {2025}
}