拼凑全貌：验证多跳多模态声明

现有的声明验证数据集通常不要求系统执行复杂推理或有效解读多模态证据。为解决这一问题，我们引入了一项新任务：多跳多模态声明验证。该任务要求模型对来自不同来源的多条证据（包括文本、图像和表格）进行推理，并判断组合的多模态证据是支持还是反驳给定声明。为研究该任务，我们构建了 MMCV，一个包含 15k 条多跳声明及其配对多模态证据的大规模数据集，该数据集由大语言模型生成并优化，并辅以人工反馈。我们表明，即使对于最新的最先进多模态大语言模型，MMCV 仍具挑战性，尤其是当推理跳数增加时。此外，我们在 MMCV 的一个子集上建立了人类性能基准。我们期望该数据集及其评估任务能推动多模态多跳声明验证领域的未来研究。