神经网络泛化恒等关系的若干因素
机器学习
2020-07-07 v1 机器学习
摘要
许多研究者隐含地假设神经网络能够学习关系并将其泛化到新的未见数据上。然而，最近的研究表明，前馈网络在恒等关系上的泛化会失败。针对此问题提出的解决方案是利用差分整流（Differential Rectifier, DR）单元来创建归纳偏置。在本工作中，我们探究神经网络架构和学习过程中的各种因素，考察它们是否对早期融合与中期融合架构中无 DR 单元及含 DR 单元的神经网络在相等性检测上的泛化产生影响。我们在合成数据实验中发现了隐藏层数量、激活函数和数据表示的影响。训练集规模相对于向量总可能集合的大小也会产生影响。然而，在无 DR 单元且随机概率为 50% 的情况下，准确率从未超过 61%。DR 单元在所有任务中均改善了泛化，并在中期融合设定下达到了近乎完美的测试准确率。因此，DR 单元似乎是构建标准网络所缺乏的泛化能力的一种有前景的方法。
引用
@article{arxiv.1906.05449,
title = {Factors for the Generalisation of Identity Relations by Neural Networks},
author = {Radha Kopparti and Tillman Weyde},
journal= {arXiv preprint arXiv:1906.05449},
year = {2020}
}
备注
ICML 2019 Workshop on Understanding and Improving Generalization in Deep Learning}, Long Beach, California, 2019