迈向鲁棒的内生推理：统一非平稳微调中的漂移适应
机器学习
2026-04-20 v1
摘要
强化微调（RFT）已成为将多模态大语言模型（MLLM）与复杂人类价值观和特定领域需求对齐的关键范式。然而，当前研究主要关注缓解由数据为中心因素引起的外生分布偏移，而内生推理中固有的非平稳性在很大程度上仍未被探索。本工作揭示了MLLM中的一个关键脆弱性：它们在思维和感知两个维度上都极易受到内生推理漂移的影响。这表现为在自回归生成过程中自发出现的不可预测的分布变化，独立于外部环境扰动。为适应这一现象，我们首先将MLLM的RFT中的内生推理漂移理论定义为多模态概念漂移。在此背景下，本文提出了反事实偏好优化++（CPO++），这是一个适应多模态概念漂移的全面且自主的框架。它结合反事实推理与领域知识，在思维和感知维度上执行受控扰动，并利用偏好优化来解耦虚假相关性。在两个高度动态且安全关键的领域——医学诊断和自动驾驶——进行了广泛的实证评估。结果表明，所提出的框架在推理连贯性、决策精度以及对极端干扰的内在鲁棒性方面均实现了卓越性能。该方法还展现了出色的零样本跨领域泛化能力，为安全关键应用中可靠的多模态推理提供了原则性基础。
引用
@article{arxiv.2604.15705,
title = {Towards Robust Endogenous Reasoning: Unifying Drift Adaptation in Non-Stationary Tuning},
author = {Xiaoyu Yang and En Yu and Wei Duan and Jie Lu},
journal= {arXiv preprint arXiv:2604.15705},
year = {2026}
}