通过不变对齐实现等变转导

组合泛化能力是理解人类语言中仅由有限词汇构造出的潜在无限数量句子的关键。研究NLP模型是否具备该能力一直是一个备受关注的课题：SCAN（Lake和Baroni，2018）正是为检验此性质而专门提出的任务。先前工作使用群等变神经网络在SCAN上取得了令人印象深刻的经验结果，该网络天然编码了对SCAN有用的归纳偏置（Gordon等人，2020）。受此启发，我们引入了一种新颖的群等变架构，其结合了群不变硬对齐机制。我们发现，我们网络的结构使其能发展出比现有群等变方法更强的等变性质。我们还发现它在SCAN任务上的经验表现优于先前的群等变网络。我们的结果表明，将群等变性整合进多种神经架构是一条潜在富有成果的研究途径，并展示了仔细分析此类架构理论性质的价值。