人类与机器视觉所依赖的视觉特征是什么?
计算机视觉与模式识别
2017-11-09 v2
摘要
尽管深度卷积网络(DCNs)在物体识别上正接近人类观察者的精度,但尚不清楚它们是否利用相似的视觉表征来实现该性能。为此,我们引入了Clicktionary,一个基于网络的游戏,用于识别人类观察者在物体识别过程中使用的视觉特征。从该游戏导出的重要性图在不同参与者间一致,且与图像显著性度量不相关。这些结果表明,Clicktionary识别出的图像区域对物体识别具有意义且具判别性,但不同于那些驱动眼动的区域。令人惊讶的是,Clicktionary重要性图与从为物体识别训练的DCNs导出的相关性图仅弱相关。我们的研究证明,人类观察者与DCNs在物体识别精度上日益缩小的差距掩盖了各自为实现该性能所采用的不同视觉策略。
引用
@article{arxiv.1701.02704,
title = {What are the visual features underlying human versus machine vision?},
author = {Drew Linsley and Sven Eberhardt and Tarun Sharma and Pankaj Gupta and Thomas Serre},
journal= {arXiv preprint arXiv:1701.02704},
year = {2017}
}
备注
9 pages, 7 figures