通过感知与推理增强提升医学视觉强化微调效果
计算机视觉与模式识别
2026-03-05 v1 人工智能
摘要
尽管近期的强化微调（RFT）进展表明，基于规则的奖励方案可实现大型语言模型的有效后训练，但其在跨模态、以视觉为中心的领域的扩展仍属未被充分探索。这一局限在医学影像领域尤为突出，因有效性能需要稳健的视觉感知与结构化推理。本文提出VRFT-Aug，一个针对医学领域的视觉强化微调框架。VRFT-Aug引入一系列训练策略，以增强感知与推理，包括先验知识注入、感知驱动的策略细化、医学信息化奖励塑造以及行为模仿。这些方法旨在稳定和改进RFT过程。通过多个医学数据集上的大量实验，我们展示这些方法始终优于标准监督微调和RFT基线。此外，我们提供了实证依据和实用训练经验法则，可推广至其他医学图像任务。我们希望本工作为开发可靠、具推理能力的模型以服务于高风险医学应用提供可操作指导和新颖灵感。
引用
@article{arxiv.2602.10619,
title = {Improving Medical Visual Reinforcement Fine-Tuning via Perception and Reasoning Augmentation},
author = {Guangjing Yang and ZhangYuan Yu and Ziyuan Qin and Xinyuan Song and Huahui Yi and Qingbo Kang and Jun Gao and Yiyue Li and Chenlin Du and Qicheng Lao},
journal= {arXiv preprint arXiv:2602.10619},
year = {2026}
}
备注
CPAL 2026