面向细粒度开放世界分类的特定性感知强化学习
计算机视觉与模式识别
2026-04-14 v3
摘要
在开放世界环境下对细粒度视觉概念进行分类，要求模型既要准确又要具体。近期的推理大型多模态模型 (LMM) 表现出强大的视觉理解能力，但倾向于在进行细粒度图像分类时产生过于笼统的预测。我们的初步分析表明，模型本身就具备内在的细粒度领域知识。然而，在不损害正确性的前提下促进更具体的预测（具体性）仍是一个非平凡且尚未充分研究的挑战。本文中，我们研究如何引导推理 LMM toward 既正确又具体的预测。我们提出了一种新的特定性感知强化学习框架，称为 SpeciaRL，用于在开放世界设置下对推理 LMM 进行细粒度图像分类的微调。SpeciaRL 引入基于动态验证器的奖励信号，这些奖励信号锚定于在在线 rollout 中最佳预测之上，既促进具体性又尊重模型的能力以防止错误预测。我们的跨域实验表明，SpeciaRL 在广泛的细粒度基准测试中实现了正确性和具体性之间最佳的权衡，超越了现有方法，推动了开放世界细粒度图像分类的发展。代码和模型可在 https://github.com/s-angheben/SpeciaRL 公开获取。
引用
@article{arxiv.2603.03197,
title = {Specificity-aware reinforcement learning for fine-grained open-world classification},
author = {Samuele Angheben and Davide Berasi and Alessandro Conti and Elisa Ricci and Yiming Wang},
journal= {arXiv preprint arXiv:2603.03197},
year = {2026}
}
备注
Accepted at CVPR 2026