论“深度学习”的不当行为
机器学习
2023-01-16 v4
摘要
这是一篇理论论文，作为同一会议 ISAIC 2022 全体大会报告的配套论文。与作者在同一会议上的全体大会报告——为一生（多任务）开发单一网络的意识学习（Weng, 2022b; Weng, 2022c）——相反，“深度学习”为每个任务训练多个网络。尽管“深度学习”可能使用不同的学习模式，包括监督、强化和对抗模式，但几乎所有“深度学习”项目显然都存在同样的不当行为，称为“数据删除”和“在训练数据上测试”。本文建立了一个定理，即只要测试数据集在作者手中，且存储空间量和训练时间有限但无界，一种称为 Pure-Guess Nearest Neighbor (PGNN) 的简单方法即可通过相同的不当行为，在验证数据集和测试数据集上达到任何所需的误差，包括零误差要求。这种不当行为违反了称为透明度和交叉验证的著名协议。这种不当行为的本质是致命的，因为在没有任何不相交测试的情况下，“深度学习”显然不具备泛化能力。
引用
@article{arxiv.2211.16350,
title = {On "Deep Learning" Misconduct},
author = {Juyang Weng},
journal= {arXiv preprint arXiv:2211.16350},
year = {2023}
}
备注
Accepted by ISAIC 2022, 8 pages, three figures. arXiv admin note: text overlap with arXiv:2208.11228