通过强化推理的 VLMs 安全护卫模型 GuardReasoner-VL
人工智能
2025-05-19 v1 密码学与安全
摘要
为提升 VLMs 的安全性，本文提出一种基于推理的全新 VLM 护卫模型，命名为 GuardReasoner-VL。核心思想是通过在做出 moderation 决策前通过在线强化学习来激励护卫模型进行深入推理。首先，我们构建 GuardReasoner-VLTrain 数据集，包含 123K 个样本和 631K 步推理，涵盖文本、图像及文本-图像输入。随后，我们基于该数据集通过监督微调（SFT） cold-start 模型的推理能力。此外，我们进一步通过在线强化学习来增强关于 moderation 的推理。具体而言，为增强样本的多样性与难度性，我们采用拒绝抽样技术，并通过提出的安全感知数据拼接方法进行数据增强。此外，我们采用动态裁剪参数，以鼓励早期阶段的探索和后期阶段的利用。为平衡性能与 token 效率，我们设计了一种长度感知的安全奖励，集成准确性、格式和 token 成本。大量实验表明，我们模型的卓越性。显著地，我们的模型在平均 F1 分数上超过了亚军 19.27%。我们将在 GitHub 上发布 GuardReasoner-VL 的数据、代码及模型（3B/7B），地址为 https://github.com/yueliu1999/GuardReasoner-VL/。
引用
@article{arxiv.2505.11049,
title = {GuardReasoner-VL: Safeguarding VLMs via Reinforced Reasoning},
author = {Yue Liu and Shengfang Zhai and Mingzhe Du and Yulin Chen and Tri Cao and Hongcheng Gao and Cheng Wang and Xinfeng Li and Kun Wang and Junfeng Fang and Jiaheng Zhang and Bryan Hooi},
journal= {arXiv preprint arXiv:2505.11049},
year = {2025}
}