中文

人工智能中的后期筛选及其规避方法

机器学习 2021-09-16 v2 人工智能 机器人学

摘要

基于神经网络的人工智能(AI)在实验中报告了不断增加的规模。然而,本文提出此类实验中一个鲜有报道的阶段——后期筛选(Post-Selection),以提醒读者若干可能导致误导性结果的协议缺陷。所有AI方法分为两大类:联结主义与符号主义。后期筛选分为两类:使用验证集的后期筛选(PSUVS)与使用测试集的后期筛选(PSUTS)。每类有两种筛选者:机器与人。联结主义学派因其“黑箱”及如今的后期筛选受到批评;但看似“干净”的符号主义学派因其人工PSUTS似乎更为脆弱。本文首先提出一个有争议的观点:所有静态“大数据”均不可扩展。我们随后分析了为何从随机初始化权重的误差反向传播深受局部极小困扰、为何PSUVS缺乏交叉验证、为何PSUTS违反既有协议,以及为何每篇相关论文都应透明报告后期筛选阶段。为避免AI竞赛中的未来陷阱,本文提出一种新AI度量,称为所有已训练网络的发展误差,基于三种学习条件:(1)增量学习架构(因“大数据”缺陷),(2)训练经验,(3)有限计算资源。发展网络(Developmental Networks)规避后期筛选,因为它们通过生成涌现图灵机(非黑箱)按需自动发现上下文规则,在三种学习条件下于生命周期内以最大似然意义最优。

关键词

引用

@article{arxiv.2106.13233,
  title  = {Post-Selections in AI and How to Avoid Them},
  author = {Juyang Weng},
  journal= {arXiv preprint arXiv:2106.13233},
  year   = {2021}
}

备注

29 pages, 5 figures. An earlier vision of the first part has been accepted as an IJCNN 2021 paper and an earlier version of the second part has been accepted as an ICDL 2021 paper