退化的多边形引发关于神经网络感知的根本性问题
计算机视觉与模式识别
2024-10-18 v2 人工智能
机器学习
摘要
众所周知，现代计算机视觉系统常常表现出与人类不一致的行为：从对抗攻击到图像损坏，深度学习视觉模型在人类能够从容应对的多种情形下表现不佳。鉴于这些现象，本文引入另一种正交视角来研究人机视觉差距。我们重新审视在30多年前人类视觉的“成分识别”理论中首次提出的退化条件下图像恢复任务。具体而言，我们研究神经网络在看似简单的任务上的表现与行为：对周长上不同退化程度的规则多边形进行分类。为此，我们实现了自动化形状可恢复性测试，用于快速生成大规模的周长退化规则多边形数据集，使历史上手工创建的图像可恢复性实验得以现代化。随后，我们研究了在不同先验初始化下神经网络识别和恢复此类退化形状的能力。最终，我们发现神经网络在这一简单任务上的行为与人类行为相冲突，从而引发了关于现代计算机视觉模型的鲁棒性与学习能力的根本性问题。
引用
@article{arxiv.2306.04955,
title = {Degraded Polygons Raise Fundamental Questions of Neural Network Perception},
author = {Leonard Tang and Dan Ley},
journal= {arXiv preprint arXiv:2306.04955},
year = {2024}
}
备注
Accepted as a conference paper to NeurIPS 2023 (Datasets & Benchmarks Track)