带人类判断的模糊图像用于鲁棒视觉事件分类
计算机视觉与模式识别
2022-10-25 v2 人工智能
摘要
当代视觉基准主要考虑人类能达到近乎完美性能的任务。然而，人类频繁面对无法以100%确定性分类的视觉数据，而在标准视觉基准上训练的模型在此类数据上评估时性能低下。为解决该问题，我们引入一种创建模糊图像数据集的流程，并用其生成SQUID-E（“Squidy”），一个从视频中提取的含噪图像集合。所有图像均标注了真值，且一个测试集标注了人类不确定性判断。我们使用该数据集刻画视觉任务中的人类不确定性，并评估现有的视觉事件分类模型。实验结果表明，现有视觉模型不足以对模糊图像提供有意义输出，且此类性质的数据集可通过模型训练与模型校准的直接评估来评估和改进步模型。这些发现推动了大规模模糊数据集的创建，以及聚焦含噪视觉数据的进一步研究。
引用
@article{arxiv.2210.03102,
title = {Ambiguous Images With Human Judgments for Robust Visual Event Classification},
author = {Kate Sanders and Reno Kriz and Anqi Liu and Benjamin Van Durme},
journal= {arXiv preprint arXiv:2210.03102},
year = {2022}
}
备注
10 pages, NeurIPS 2022 Datasets and Benchmarks Track