基于数据域抽样 regime 的 CNN 图形感知行为严格评估
机器学习
2025-09-24 v2 计算机视觉与模式识别
人机交互
摘要
我们提出了一种用于量化CNN图形感知行为的数据域抽样 regime。该 regime 使我们能够从三个角度评估CNN在条形图中的比例估计能力：对训练-测试分布差异的敏感性、对有限样本的稳定性以及相对于人类观察者的相对专业性。在分析了来自800个CNN模型的1600万次试验以及来自113名人类参与者的6825次试验后，我们得出了一个简单且可操作的结论：CNN可以超越人类，其偏差仅取决于训练-测试距离。我们展示了这种简单而优雅的机器行为在解释可视化图像时的证据。osf.io/gfqc3提供了注册、我们的抽样 regime 的代码以及实验结果。
引用
@article{arxiv.2507.03866,
title = {A Rigorous Behavior Assessment of CNNs Using a Data-Domain Sampling Regime},
author = {Shuning Jiang and Wei-Lun Chao and Daniel Haehn and Hanspeter Pfister and Jian Chen},
journal= {arXiv preprint arXiv:2507.03866},
year = {2025}
}
备注
This is a preprint of a paper that has been accepted for publication at IEEE VIS 2025. The final version may be different upon publication. 9 pages main text, 11 pages supplementary contents, 37 figures