面向神经算法推理任务更好的分布外泛化
机器学习
2023-03-21 v2
摘要
本文研究神经算法推理任务的OOD（分布外）泛化，其目标为利用深度神经网络从输入输出对中学习算法（如排序、广度优先搜索与深度优先搜索）。首先，我们指出该设定下的OOD泛化与常见OOD设定显著不同。例如，图像分类OOD泛化中的某些现象（如“直线上的准确率”）在此未被观测到，且数据增强等方法无益，因为许多增强技术背后的假设常被违背。其次，我们分析当前领先基准CLRS（含30个算法推理任务）的主要挑战（如输入分布偏移、非代表性数据生成与无信息验证指标）。我们提出若干解决方案，包括对输入分布偏移的简单而有效的修正与改进的数据生成。最后，我们提出一种基于注意力的2WL图神经网络（GNN）处理器，其补充消息传递GNN，二者结合在所有算法上平均以3%优势超越SOTA模型。我们的代码见：\url{https://github.com/smahdavi4/clrs}。
引用
@article{arxiv.2211.00692,
title = {Towards Better Out-of-Distribution Generalization of Neural Algorithmic Reasoning Tasks},
author = {Sadegh Mahdavi and Kevin Swersky and Thomas Kipf and Milad Hashemi and Christos Thrampoulidis and Renjie Liao},
journal= {arXiv preprint arXiv:2211.00692},
year = {2023}
}
备注
Transactions on Machine Learning Research (TMLR), 2023