在涌现通信背景下，神经网络能理解人类所不能理解的组合函数
计算与语言
2021-11-24 v2
摘要
我们表明，可以构造一些变换，将其应用于组合文法后，得到的文法神经网络容易学习，但人类却难以学习。这可以解释当前 arguably 以人类为中心的组合性度量，与神经网络泛化到未见样例的能力之间的脱节。我们提议使用这些变换作为一个基准ICY，可用于度量网络组合归纳偏置的各个方面，并搜索具有与人类相似组合归纳偏置的网络。作为该方法的一个示例，我们提出了一个层次化模型HU-RNN，其展现出对位置无关、类词令牌组的归纳偏置。
引用
@article{arxiv.2103.04180,
title = {Neural networks can understand compositional functions that humans do not, in the context of emergent communication},
author = {Hugh Perkins},
journal= {arXiv preprint arXiv:2103.04180},
year = {2021}
}
备注
9 pages, plus references, plus appendix