如何将算法推理知识迁移以学习新算法？
机器学习
2021-10-28 v1
摘要
学习执行算法是一个被广泛研究的基础问题。先前工作~\cite{veli19neural} 表明，为使图算法具备系统性泛化能力，获取程序/算法的中间步骤至关重要。在许多推理任务中，算法式推理十分重要，但我们仅能获取输入与输出样本。因此，受自然语言处理（NLP）和计算机视觉中类似任务或数据预训练成功的启发，我们着手研究如何迁移算法推理知识。具体而言，我们探究如何利用那些可获取执行轨迹的算法，来学习解决无法获取执行轨迹的相似任务。我们研究了两类主要图算法：并行算法（如广度优先搜索和 Bellman-Ford）与顺序贪心算法（如 Prim 和 Dijkstra）。由于算法推理知识与计算机视觉或 NLP 中使用的特征提取器存在本质差异，我们假设标准迁移技术不足以实现系统性泛化。为实证探究，我们构建了一个包含 9 种算法和 3 种不同图类型的数据集。我们对此进行了实证验证，并展示了多任务学习如何用于实现算法推理知识的迁移。
引用
@article{arxiv.2110.14056,
title = {How to transfer algorithmic reasoning knowledge to learn new algorithms?},
author = {Louis-Pascal A. C. Xhonneux and Andreea Deac and Petar Velickovic and Jian Tang},
journal= {arXiv preprint arXiv:2110.14056},
year = {2021}
}