形状、纹理与颜色在视觉识别中的贡献
计算机视觉与模式识别
2022-07-21 v1
摘要
我们研究了人类视觉系统（HVS）的三个重要特征——形状、纹理和颜色——对物体分类的贡献。我们构建了一个类人视觉引擎（HVE），该引擎从图像中显式且分别地计算形状、纹理和颜色特征。所得特征向量随后被拼接以支持最终分类。我们表明 HVE 能够总结并对三个特征在物体识别中的贡献进行排序。我们通过人类实验确认，HVE 和人类都主要使用某些特定特征来支持特定类别的分类（例如，纹理是区分斑马与其他四足动物的主导特征，对人类和 HVE 均如此）。借助 HVE，给定任意环境（数据集），我们可以总结整个任务（任务特定；例如，在 CUB 数据集上分类时颜色是总体上最重要的特征）以及每个类别（类别特定；例如，在 iLab-20M 数据集上形状是识别船只最重要的特征）的最重要的特征。为展示 HVE 更多的实用性，我们将其用于在无属性标注情况下模拟人类的开放世界零样本学习能力。最后，我们表明 HVE 还能通过不同特征的组合模拟人类的想象能力。我们将开源 HVE 引擎及相应数据集。
引用
@article{arxiv.2207.09510,
title = {Contributions of Shape, Texture, and Color in Visual Recognition},
author = {Yunhao Ge and Yao Xiao and Zhi Xu and Xingrui Wang and Laurent Itti},
journal= {arXiv preprint arXiv:2207.09510},
year = {2022}
}
备注
ECCV 2022