面向对象识别的 ShapeY：通过最近邻匹配衡量形状识别能力的原则框架
计算机视觉与模式识别
2026-04-29 v1
摘要
对象识别（OR）在人类中高度依赖形状线索以及跨不同 3D 视角识别物体的能力。与人类不同，深度网络常常依赖纹理和背景等非形状线索，导致其在泛化和鲁棒性方面存在缺陷。为弥合这一差距，我们引入 ShapeY，这是一套新型且原则化的基准框架，旨在评估 OR 系统中基于形状的识别能力。ShapeY 包含 68,200 张灰度图像，涵盖 200 个 3D 物体，从多个视角渲染而成，可选加以非形状“外观”变化。通过最近邻匹配任务，ShapeY 专门探究 OR 系统嵌入空间的细粒度结构，通过评估物体视角是否在跨不同 3D 视角和其他非形状变化的情况下按 3D 形状相似性进行聚类来检验。ShapeY 提供了一系列定量和定性绩效输出，包括错误率图、视角调谐曲线、正负匹配得分直方图，以及显示有序最佳匹配的网格图，综合为 OR 系统的形状理解能力提供了全面评估。在对 321 个采用不同体系结构的预训练网络进行测试后，结果显示在实现稳健的基于形状的识别方面存在显大的挑战：即使是最先进的模型在 3D 视角和外观变化下也难以一致地进行泛化，并且容易对明显形状截然不同的物体进行稀有但严重错误的匹配。ShapeY 建立了一种原则化的框架，以推动人工视觉系统向类人形状识别能力发展，强调不可分割且不变的对象编码的重要性。
引用
@article{arxiv.2604.25065,
title = {ShapeY: A Principled Framework for Measuring Shape Recognition Capacity via Nearest-Neighbor Matching},
author = {Jong Woo Nam and Amanda S. Rios and Bartlett W. Mel},
journal= {arXiv preprint arXiv:2604.25065},
year = {2026}
}