Align Anything：使用语言反馈训练跟随指令的全模态模型
人工智能
2024-12-31 v2 计算与语言
摘要
强化学习从人类反馈 (RLHF) 在增强大型语言模型的指令遵循能力方面已被证明有效；然而，在跨模态领域中，这一方法仍未得到充分探索。随着模态数量的增加，对所有模态模型（即输入和输出均可为任意模态，亦称 any-to-any 模型）与人类意图对齐——例如指令跟随——成为迫切挑战。本文首次尝试使用跨所有模态的人类偏好数据对所有模态模型进行微调，以确保其行为与人类意图一致。此举呈现出若干挑战：首先，现有开源资源中缺乏大规模的所有模态人类偏好数据，大多数数据集局限于特定模态，主要为文本和图像；其次，二进制偏好在RLHF中用于复杂的所有模态场景中的后训练对齐效果尚未探索；最后，缺乏系统性框架来评估所有模态模型的能力，尤其是关于模态选择与协同方面。为此，我们提出 align-anything 框架，包含经过精细标注的 20 万所有模态人类偏好数据。随后，我们引入一种从统一语言反馈中学习的方法，有效捕捉复杂的模态特定人类偏好，并提升模型的指令遵循能力。 Furthermore, 为评估所有模态模型在后训练对齐后的性能提升，我们构建了一个具有挑战性的全模态能力评估框架——eval-anything。所有数据、模型和代码框架已开源。欲了解更多细节，请参阅 https://github.com/PKU-Alignment/align-anything.
引用
@article{arxiv.2412.15838,
title = {Align Anything: Training All-Modality Models to Follow Instructions with Language Feedback},
author = {Jiaming Ji and Jiayi Zhou and Hantao Lou and Boyuan Chen and Donghai Hong and Xuyao Wang and Wenqi Chen and Kaile Wang and Rui Pan and Jiahao Li and Mohan Wang and Josef Dai and Tianyi Qiu and Hua Xu and Dong Li and Weipeng Chen and Jun Song and Bo Zheng and Yaodong Yang},
journal= {arXiv preprint arXiv:2412.15838},
year = {2024}
}