从难度区分视角重新审视多模态后训练中的数据采样

近期多模态大语言模型（MLLM）的进展推动了链式思考（Chain-of-Thought, CoT）推理的显著进展。基于Deepseek-R1成功经验，研究者将多模态推理扩展至基于强化学习（RL）的后训练范式，主要聚焦数学数据集。然而，现有后训练范式忽视了两个关键方面：（1）缺乏能够对样本进行策略性筛选的可量化难度指标；（2）未能联合优化感知与推理能力的次优后训练范式。为此，我们提出两种新型难度感知采样策略：渐进式图像语义遮蔽（Progressive Image Semantic Masking, PISM）通过系统性图像退化量化样本难度；跨模态注意力平衡（Cross-Modality Attention Balance, CMAB）通过注意力分布分析评估跨模态交互复杂度。借助这些指标，我们设计了包含GRPO-only和SFT+GRPO混合训练范式的层次化训练框架，并在六个基准数据集上进行评估。实验表明，针对难度分层样本应用的GRPO在准确率和常规SFT+GRPO管道方面均实现一致优势，表明策略性数据采样可在提升模型准确率的同时，无需监督微调即可达到更佳效果。我们的代码将发布于https://github.com/qijianyu277/DifficultySampling。