面向多模态LLM路由的KL正则化LoRA探针（ReLope）

路由已成为平衡大型语言模型（LLM）系统中性能与成本的有前景策略，尤其是将轻量级模型与强大但昂贵的大模型组合时。最近的研究表明，“探针路由”（probe routing）——即通过预测小模型隐藏状态的正确性——为文本-only LLM 提供了有效解决方案。然而，我们注意到这些探针在应用于多模态LLM（MLLMs）时会显著退化。通过经验分析，我们发现视觉输入的存在会削弱隐藏状态中正确性信号的可分离性，使其更难以通过标准探针设计来提取。为此，我们提出了两种互补的改进MLLMs探针路由的方法。首先，我们提出了“注意力探针”（Attention Probe），其聚合来自前一层基于注意力得分的隐藏状态，以恢复分布式的正确性信号。其次，我们提出了“KL正则化LoRA探针”（ReLope），即插入轻量级LoRA适配器并应用KL正则器，以学习面向路由的表示。全面实验表明，我们的方法 consistently优于基线方法，表明改善隐藏状态质量是MLLMs有效路由的关键。我们的代码已公开：https://github.com/Spinozaaa/ReLope。