为何深度学习的性能数据具有误导性

这是一篇理论论文，作为同一会议 AIEE 2023 主题演讲的配套论文。与有意识的学习相反，人工智能中的许多项目采用了所谓的“深度学习”，其中许多似乎给出了令人印象深刻的性能。本文解释了此类性能数据由于两种不当行为而被欺骗性地夸大：“数据删除”和“在训练集上测试”。本文阐明了深度学习中的“数据删除”和“在训练集上测试”以及它们为何是不当行为。定义了一种简单的分类方法，称为带阈值的近邻法（Nearest Neighbor With Threshold, NNWT）。建立了一个定理：只要测试集在作者手中，且存储空间量和训练时间有限但无界（如同许多深度学习方法那样），NNWT 方法利用这两种不当行为可在任意验证集和任意测试集上达到零误差。然而，许多深度学习方法与 NNWT 方法一样，都不可泛化，因为它们从未经过真正的测试集检验。为什么？所谓的“测试集”在训练阶段的后选择步骤中被使用了。许多深度学习项目中实际发生不当行为的证据超出了本文范围。