InterMT：基于人类反馈的多轮交错偏好对齐
人工智能
2025-12-23 v2
摘要
随着多模态大模型在具有挑战性的任务上不断进步，一个关键问题浮现：还缺少哪些核心能力？人类学习的一个关键方面是与环境的持续互动——不仅限于语言，还涉及多模态理解与生成。为了向人类水平的智能迈进，模型必须同样支持多轮、多模态的交互。具体而言，它们应能理解交错的多模态上下文，并在持续的交流中作出连贯的响应。在本工作中，我们通过 InterMT——首个基于真实人类反馈的多轮多模态交互偏好数据集，进行了初步探索。在此次探索中，我们特别强调了人类监督的重要性，引入专家标注来指导该过程，这是因为当前的 MLLM 缺乏此类复杂的交互能力。InterMT 将全局和局部层面的人类偏好捕获到九个子维度中，包含 15.6k 个提示、52.6k 个多轮对话实例和 32.4k 个人类标注的偏好对。为了弥补多模态理解与生成能力的不足，我们引入了一种利用工具增强的 MLLM 来构建多轮问答实例的智能体工作流。为了推进这一目标，我们引入了 InterMT-Bench 以评估 MLLM 在辅助评判多轮、多模态任务中的能力。我们通过评判调节等应用展示了 InterMT 的效用，并进一步揭示了评判模型的多轮缩放律。我们希望开源我们的数据能够帮助促进当前 MLLM 向下一步对齐的进一步研究。我们的项目网站可在 https://pku-intermt.github.io 找到。
引用
@article{arxiv.2505.23950,
title = {InterMT: Multi-Turn Interleaved Preference Alignment with Human Feedback},
author = {Boyuan Chen and Donghai Hong and Jiaming Ji and Jiacheng Zheng and Bowen Dong and Jiayi Zhou and Kaile Wang and Juntao Dai and Xuyao Wang and Wenqi Chen and Qirui Zheng and Wenxin Li and Sirui Han and Yike Guo and Yaodong Yang},
journal= {arXiv preprint arXiv:2505.23950},
year = {2025}
}