用神经引导的深度神经网络探测人类视觉鲁棒性
计算机视觉与模式识别
2025-05-20 v2 人工智能
神经元与认知
摘要
人类轻松地导航于动态视觉世界，而深度神经网络 (DNNs) 虽然在许多视觉任务中表现卓越，却对微小图像扰动异常敏感。过去的理论表明，人类视觉鲁棒性源于沿视觉丘脑-视皮层 (VVS) 逐渐演化的表征空间，以更高效地容纳物体变换。为测试鲁棒性是否得益于此类演化，而非仅限于特定的高阶区域，我们训练了 DNNs 以对齐其表征与来自连续 VVS 区域的人类神经响应。我们证明了 DNN 鲁棒性的层次性改进：对齐至更高阶 VVS 区域可带来更大的改进。为探究这种鲁棒性提升背后的机制，我们检验了将人类鲁棒性归因于 VVS 中神经类别流形几何特性的主导假设。我们首先揭示，更理想的流形特性（具体而言是更小的范围和更好的线性可分性）确实在人类 VVS 中逐渐显现。这些特性可被神经对齐的 DNNs 继承，并预测其后续鲁棒性提升。此外，我们表明仅通过流形引导即可以定性方式再现层次性鲁棒性改进。综上，这些结果凸显了 VVS 中演化表征空间在实现稳健视觉推断中的关键作用，部分通过形成更线性可分的类别流形，这可能为开发更鲁棒的 AI 系统提供可能。
引用
@article{arxiv.2405.02564,
title = {Probing Human Visual Robustness with Neurally-Guided Deep Neural Networks},
author = {Zhenan Shao and Linjian Ma and Yiqing Zhou and Yibo Jacky Zhang and Sanmi Koyejo and Bo Li and Diane M. Beck},
journal= {arXiv preprint arXiv:2405.02564},
year = {2025}
}