自监督视觉偏好对齐
计算机视觉与模式识别
2024-08-22 v2 人工智能
计算与语言
机器学习
摘要
本文首次尝试在视觉-语言模型（Vision-Language Models, VLMs）中进行无监督偏好对齐。我们针对原始和增强图像对生成选择和拒绝响应，并通过直接偏好优化进行偏好对齐。其核心思想是：对图像输入进行适当设计的增强将诱导VLM生成错误但困难的负样本响应，这有助于模型从中学习并产生更鲁棒、更强大的答案。整个流程不再依赖于GPT-4的监督或人类参与对齐，并且效率极高，只需少量代码。仅使用8k随机采样的无监督数据，它在LLaVA-Bench的复杂推理上达到了GPT-4 90%的相对得分，并在复杂多模态基准MM-Vet上将LLaVA-7B/13B的得分提高了6.7%/5.6%。可视化结果显示了其对齐用户意图能力的提升。我们进行了一系列消融实验以揭示该方法的潜在机制，这也表明了其进一步扩展的潜力。代码可在https://github.com/Kevinz-code/SeVa获取。
引用
@article{arxiv.2404.10501,
title = {Self-Supervised Visual Preference Alignment},
author = {Ke Zhu and Zheng Ge and Liang Zhao and Xiangyu Zhang},
journal= {arXiv preprint arXiv:2404.10501},
year = {2024}
}
备注
MM2024 oral