SEVA：利用草图评估人类与机器视觉抽象的对齐程度
计算机视觉与模式识别
2023-12-07 v1
摘要
草图是创建稀疏但富有意义的抽象图像的强大工具。草图理解对通用视觉算法提出了根本性挑战，因为它要求对草图相对于自然视觉输入的稀疏性具有鲁棒性，并要求容忍语义歧义，因为草图可以可靠地唤起多种含义。虽然当前的视觉算法在各种视觉任务上取得了高性能，但它们在多大程度上以类人的方式理解草图仍不清楚。在此，我们引入 SEVA，一个新的基准数据集，包含约 9 万张由人类在不同时间限制下生成的 128 个物体概念的草图，因此其稀疏性系统地变化。我们评估了一套最先进的视觉算法，考察它们正确识别这些草图中描绘的目标概念的能力，以及生成与同一草图识别任务中人类反应模式高度对齐的反应的能力。我们发现，能更好预测人类草图识别性能的视觉算法，也能更好地近似人类对草图含义的不确定性，但模型与人类反应模式之间仍存在相当大的差距。为了探索在生成任务中模拟人类视觉抽象的模型的潜力，我们对最近开发的一种能够生成不同稀疏度草图的草图生成算法进行了进一步评估。我们希望公开发布此数据集和评估协议将促进朝着具有增强的类人视觉抽象能力的算法取得进展。
引用
@article{arxiv.2312.03035,
title = {SEVA: Leveraging sketches to evaluate alignment between human and machine visual abstraction},
author = {Kushin Mukherjee and Holly Huey and Xuanchen Lu and Yael Vinker and Rio Aguina-Kang and Ariel Shamir and Judith E. Fan},
journal= {arXiv preprint arXiv:2312.03035},
year = {2023}
}
备注
Accepted to the Advances in Neural Information Processing Systems (Datasets and Benchmarks Track) 2023