卷积神经网络在柱状图关系推理任务上的泛化能力研究
计算机视觉与模式识别
2025-03-04 v1 人工智能
人机交互
机器学习
摘要
本文对卷积神经网络（CNNs）和人类在柱状图关系推理任务上的泛化能力进行了系统性研究。我们首先回顾了先前关于图形感知的实验，并更新了CNNs的基准性能。然后，我们通过逐步扰动标准可视化，测试了CNNs在一个经典关系推理任务——估计柱状图中柱长比例——上的泛化性能。我们进一步进行了一项用户研究，以比较CNNs和人类的表现。结果表明，仅当训练和测试数据具有相同的视觉编码时，CNNs的表现才优于人类。否则，它们的表现可能更差。我们还发现，CNNs对各种视觉编码的扰动都很敏感，无论这些扰动是否与目标柱相关。然而，人类主要受柱长影响。我们的研究表明，对于CNN而言，基于可视化的鲁棒关系推理具有挑战性。提高CNN的泛化性能可能需要训练它们更好地识别与任务相关的视觉属性。
引用
@article{arxiv.2503.00086,
title = {Generalization of CNNs on Relational Reasoning with Bar Charts},
author = {Zhenxing Cui and Lu Chen and Yunhai Wang and Daniel Haehn and Yong Wang and Hanspeter Pfister},
journal= {arXiv preprint arXiv:2503.00086},
year = {2025}
}
备注
Accepted by TVCG. GitHub repository: https://github.com/Ideas-Laboratory/Graphical-Perception