图像-文本声明自动验证(AVerImaTeC)共享任务
计算与语言
2026-02-27 v2
摘要
图像-文本声明自动验证(AVerImaTeC)共享任务旨在推进用于检索证据和验证真实世界图像-文本声明的系统开发。参与者被允许使用外部知识源(如网络搜索引擎),或利用组织者提供的整理知识库。系统性能使用AVerImaTeC分数进行评估,该分数定义为条件性裁决准确率,即仅当相关证据分数超过预定义阈值时,裁决才被视为正确。该共享任务在开发阶段吸引了14份提交,在测试阶段吸引了6份提交。测试阶段的所有参与系统均优于提供的基线。获胜团队HUMANE取得了0.5455的AVerImaTeC分数。本文详细描述了该共享任务,呈现了完整的评估结果,并讨论了关键见解和经验教训。
引用
@article{arxiv.2602.11221,
title = {The Automatic Verification of Image-Text Claims (AVerImaTeC) Shared Task},
author = {Rui Cao and Zhenyun Deng and Yulong Chen and Michael Schlichtkrull and Andreas Vlachos},
journal= {arXiv preprint arXiv:2602.11221},
year = {2026}
}
备注
Shared Task Overview and Summary for the Ninth FEVER Workshop, Co-located at EACL 2026