ShapeY：基于最近邻匹配的形状识别能力度量
计算机视觉与模式识别
2021-11-17 v1 机器学习
摘要
人类的物体识别主要依赖于形状线索。我们提出了一种基于视觉系统嵌入空间内最近邻视图匹配来度量其形状识别性能的新方法。我们的性能基准 ShapeY 通过强制视图匹配跨越指定的三维视角变化和/或外观变化程度，实现了对任务难度的精确控制。作为首个测试案例，我们度量了在 ImageNet 上预训练的 ResNet50 的性能。匹配错误率很高。例如，物体俯仰角变化 27 度导致 ResNet50 在 45% 的情况下匹配到错误物体。外观变化也极具破坏性。对错误匹配的检查表明，ResNet50 的嵌入空间严重“纠缠”。这些发现表明 ShapeY 可作为描绘人工视觉系统向人类水平形状识别能力进展的有用工具。
引用
@article{arxiv.2111.08174,
title = {ShapeY: Measuring Shape Recognition Capacity Using Nearest Neighbor Matching},
author = {Jong Woo Nam and Amanda S. Rios and Bartlett W. Mel},
journal= {arXiv preprint arXiv:2111.08174},
year = {2021}
}
备注
6 pages, 5 figures, Accepted to NeurIPS: ImageNet Past, Present, and Future