对抗样本与归纳的更深谜题：深度学习中人工制品理论的必要性

深度学习目前是人工智能中最广泛且最成功的技术。它有望将科学发现的边界推向前所未有的限度。然而，怀疑论者担忧深度神经网络是黑箱，并质疑如果人类无法理解这些进展，它们是否真可被视为科学进步。相关地，这些系统还具有令人困惑的新漏洞：最显著的是易受“对抗样本”影响。在本文中，我认为对抗样本将成为哲学与诸多科学领域辩论的焦点。具体而言，关于对抗样本的新发现挑战了这样一种共识观点，即网络在这些案例上的判断是由训练集中过拟合特殊噪声引起的，而可能反而是检测到人类无法感知的、具有预测有用性的“数据几何的内在特征”的结果（Ilyas 等，2019）。这些结果应促使我们重新审视对哲学与科学交汇处最深层谜题之一——Nelson Goodman 的归纳“新谜题”——的回应。具体而言，它们提出了这样一种可能性：若干科学的进步将依赖于检测与操控人类觉得不可理解的有用特征。然而，在我们能够评估这一可能性之前，我们必须判定这些不可理解的特征中哪些（如果有的话）是真实的但仅可供“异类”感知与认知，哪些又是深度学习的独特人工制品——因为诸如镜头光晕或吉布斯现象之类的人工制品同样可用于预测，但通常被视为科学理论化的障碍。因此，机器学习研究者迫切需要对深度神经网络发展出一种人工制品理论，我在结论中勾勒了这一研究领域的若干初步方向。