不变性、编码与泛化：用神经网络学习同一性效应
机器学习
2022-03-03 v5 计算与语言
摘要
通常在语言及认知的其他领域中，一个对象的两个成分是否相同决定了它是否良构。我们称此类约束为同一性效应。当开发一个从样本中学习良构性的系统时，内置一个同一性效应是很容易的。但是，同一性效应能否在没有显式引导的情况下从数据中学习到？我们提供了一个框架，在其中可以严格证明满足简单标准的算法无法做出正确推断。然后我们表明，包括通过基于梯度的算法（如随机梯度下降或 Adam 方法）训练的深度前馈神经网络在内的一类广泛的学习算法满足我们的标准，这取决于输入的编码。在一些更宽泛的情况下，我们能够提供网络必然分类错误的对抗样本。最后，我们通过计算实验展示我们的理论，在实验中我们探究不同输入编码对算法泛化到新输入能力的影响。这使我们能够展示与理论预测的类似效应，适用于违反我们理论结果某些条件的更现实的方法。
引用
@article{arxiv.2101.08386,
title = {Invariance, encodings, and generalization: learning identity effects with neural networks},
author = {S. Brugiapaglia and M. Liu and P. Tupper},
journal= {arXiv preprint arXiv:2101.08386},
year = {2022}
}
备注
arXiv admin note: text overlap with arXiv:2005.04330