通过神经符号栈机器实现组合泛化
机器学习
2020-10-23 v2 人工智能
机器学习
摘要
尽管现有深度学习模型取得了巨大成功，但它们已暴露出在组合泛化方面的局限，即系统性地学习组合规则并将其应用于未见实例的能力。为解决此问题，我们提出了神经符号栈机器（NeSS）。它包含一个用于生成轨迹的神经网络，这些轨迹随后由增强了序列操作功能的符号栈机器执行。NeSS 结合了神经序列模型的表达力与符号栈机器所支持的递归能力。无需在执行轨迹上的训练监督，NeSS 在四个领域实现了 100% 的泛化性能：语言驱动导航任务的 SCAN 基准、组合指令的少样本学习、组合机器翻译基准，以及上下文无关文法解析任务。
引用
@article{arxiv.2008.06662,
title = {Compositional Generalization via Neural-Symbolic Stack Machines},
author = {Xinyun Chen and Chen Liang and Adams Wei Yu and Dawn Song and Denny Zhou},
journal= {arXiv preprint arXiv:2008.06662},
year = {2020}
}
备注
Published in NeurIPS 2020