VLRM：视觉-语言模型作为图像描述的奖励模型
计算机视觉与模式识别
2024-04-03 v1
摘要
在这项工作中，我们提出了一种无监督方法，利用强化学习和视觉-语言模型（如 CLIP 和 BLIP2-ITM）作为奖励模型来增强图像描述模型（在我们的例子中为 BLIP2）。经过 RL 微调的模型能够生成更长、更全面的描述。我们的模型在 MS-COCO Carpathy 测试集上获得了令人瞩目的 0.90 R@1 CLIP Recall 分数。权重可在 https://huggingface.co/sashakunitsyn/vlrm-blip2-opt-2.7b 获取。
引用
@article{arxiv.2404.01911,
title = {VLRM: Vision-Language Models act as Reward Models for Image Captioning},
author = {Maksim Dzabraev and Alexander Kunitsyn and Andrei Ivaniuta},
journal= {arXiv preprint arXiv:2404.01911},
year = {2024}
}