CARETS：一种用于 VQA 的一致性与鲁棒性评测测试套件
计算与语言
2022-03-16 v1 计算机视觉与模式识别
摘要
我们介绍了 CARETS，一个通过六组细粒度能力测试来度量现代 VQA 模型一致性与鲁棒性的系统性测试套件。与现有 VQA 测试集不同，CARETS 采用平衡的问题生成来创建成对的实例以测试模型，每对实例聚焦于一项特定能力，如改写、逻辑对称性或图像混淆。我们在 CARETS 上评估了六个现代 VQA 系统，并识别出模型理解中的若干可改进弱点，尤其是在否定、析取或上位词不变性等概念方面。有趣的是，即便是最复杂的模型，也对诸如交换合取项中术语的顺序或改变问题中提及的答案选项数量等方面敏感。我们发布 CARETS 作为一个可扩展的工具，用于评估多模态模型的鲁棒性。
引用
@article{arxiv.2203.07613,
title = {CARETS: A Consistency And Robustness Evaluative Test Suite for VQA},
author = {Carlos E. Jimenez and Olga Russakovsky and Karthik Narasimhan},
journal= {arXiv preprint arXiv:2203.07613},
year = {2022}
}
备注
ACL 2022