Align$^2$LLaVA：用于多模态指令筛选的级联人类与大型语言模型偏好对齐
人工智能
2025-12-05 v2
摘要
多模态大型语言模型（MLLM）的最新进展，例如 LLaVA 系列模型，是由海量机器生成的指令跟随数据微调所驱动的。然而，这种自动指令收集流程无意中引入了显著的数据质量差异。本文提出了一种新颖的指令筛选算法，该算法源自两个独特的视角——人类偏好对齐和 LLM 偏好对齐，旨在将海量机器生成的多模态指令语料压缩为紧凑且高质量的形式：(i) 对于人类偏好对齐，我们收集了一个机器生成的多模态指令数据集，并建立了一套包含主观和客观标准的综合评估体系，以指导人类专家对数据质量进行批判性评估。通过这样做，我们在标注数据集上训练了一个奖励模型，以将人类对指令对齐的细微理解内化。(ii) 对于 LLM 偏好对齐，给定由奖励模型选择的指令，我们提出利用 MLLM 中使用的内部 LLM 将视觉指令的写作风格与内部 LLM 自身的写作风格进行对齐，从而实现 LLM 对齐的指令改进。大量实验表明，通过将合成多模态指令压缩高达 90%，我们可以维持甚至提升模型性能。令人印象深刻的是，通过将训练指令从 158k 激进减少到 14k（缩小 9），我们的模型在各种 MLLM 基准测试中始终优于使用全量数据集的对应模型。我们的项目可在 https://github.com/DCDmllm/Align2LLaVA 获取。
引用
@article{arxiv.2409.18541,
title = {Align$^2$LLaVA: Cascaded Human and Large Language Model Preference Alignment for Multi-modal Instruction Curation},
author = {Hongzhe Huang and Jiang Liu and Zhewen Yu and Li Cai and Dian Jiao and Wenqiao Zhang and Siliang Tang and Juncheng Li and Hao Jiang and Haoyuan Li and Yueting Zhuang},
journal= {arXiv preprint arXiv:2409.18541},
year = {2025}
}