DRESS：通过自然语言反馈指导大型视觉语言模型与人类对齐及交互
计算机视觉与模式识别
2024-03-20 v2 计算与语言
机器学习
摘要
我们提出 DRESS，一种大型视觉语言模型（LVLM），它创新性地利用来自大型语言模型的自然语言反馈（NLF）来增强自身对齐与交互能力，解决了最先进 LVLM 的两个关键局限。首先，先前的 LVLM 通常仅依赖指令微调阶段来增强与人类偏好的对齐，在未引入额外反馈的情况下，仍易生成无帮助、幻觉或有害的回复。其次，尽管视觉指令微调数据通常以多轮对话格式组织，但连续对话轮次间的联系与依赖较弱，这降低了有效的多轮交互能力。为应对这些问题，我们将 NLF 新颖地归为两类：批评与精炼。批评型 NLF 识别回复的优劣之处，用于使 LVLM 与人类偏好对齐；精炼型 NLF 提供具体改进建议，用于提升 LVLM 的交互能力——即聚焦于 LVLM 在多轮交互中通过纳入反馈来精炼回复的能力。针对 NLF 不可微的特性，我们推广了条件强化学习用于训练。实验结果表明，与 SOTA LVLM 相比，DRESS 能生成更有帮助（9.76%）、更诚实（11.52%）、更无害（21.03%）的回复，并在多轮交互中更有效地从反馈中学习。
引用
@article{arxiv.2311.10081,
title = {DRESS: Instructing Large Vision-Language Models to Align and Interact with Humans via Natural Language Feedback},
author = {Yangyi Chen and Karan Sikka and Michael Cogswell and Heng Ji and Ajay Divakaran},
journal= {arXiv preprint arXiv:2311.10081},
year = {2024}
}
备注
CVPR 2024. The feedback datasets are released at: https://huggingface.co/datasets/YangyiYY/LVLM_NLF