论深度神经网络的数的能力

近来，一项引人注目的主张被发表：数感会自发涌现于仅经视觉物体识别训练的深度神经网络中。若属实，这对机器学习与认知科学领域均具深远影响。本文证明上述主张不幸是错误的。支撑该主张的统计分析存在缺陷：相较于物体识别网络中巨量的神经元，用于识别数觉神经元的数据集过小。经由这一有缺陷的分析，人们可能误在任何完全未训练的随机初始化深度神经网络中识别出数感神经元。借上述批评，我们提出疑问：若一个深度卷积神经网络被精心训练以习得数的能力又将如何？我们的发现喜忧参半。即便使用描绘数字的图片训练后，深度学习方法仍难以习得数字的抽象概念——一项学龄前儿童轻松完成的认知任务。但另一方面，我们确实发现一些令人鼓舞的证据，表明深度神经网络对小数字比大数字对分布偏移更具鲁棒性。