神经程序元归纳

最近提出的大多数神经程序归纳方法都在假设拥有大量输入/输出（I/O）示例以学习任何底层输入-输出映射的条件下工作。本文旨在通过利用相关任务的信息来解决程序归纳的数据和计算效率问题。具体而言，我们提出了两种跨任务知识转移方法，以在数据有限的情况下改进程序归纳。在我们的第一个方案中，即组合自适应，一组归纳模型在一组相关任务上进行预训练，并使用迁移学习将最佳模型自适应于新任务。在我们的第二种方法中，即元程序归纳，使用 $k$-shot 学习方法使模型无需额外训练即可泛化到新任务。为了测试我们方法的有效性，我们构建了一个用 Karel 编程语言编写的新程序基准。在 Karel 基准上的广泛实验评估表明，我们的方案显著优于不使用知识转移的基线归纳方法。我们还分析了两种方法的相对性能，并研究了它们表现最佳的条件。特别是，在极端数据稀疏（当可用的示例非常少，即少于十个）的情况下，元归纳优于所有现有方法。随着可用 I/O 示例数量的增加（即一千个或更多），组合自适应程序归纳成为最佳方法。对于中等数据规模，我们证明了自适应元程序归纳的组合方法具有最强的性能。