神经算法推理器的潜空间表示
机器学习
2024-04-30 v2 机器学习
摘要
神经算法推理 (NAR) 是一个专注于设计能够可靠捕获经典计算、通常通过学习执行算法来实现的神经架构的研究领域。一种典型方法是依赖图神经网络 (GNN) 架构，其将输入编码在高维潜空间中，并在算法执行过程中被反复变换。在本文中，我们详细分析了 GNN 在执行算法时所诱导的潜空间结构。我们识别出两种可能的失败模式：(i) 分辨率丢失，使得难以区分相似值；(ii) 无法处理训练期间观察到的范围之外的取值。我们提出通过依赖 softmax 聚合器来解决第一个问题，并提议对潜空间进行衰减以处理超出范围的值。我们表明，当使用最先进的 Triplet-GMPNN 处理器时，这些改动在标准 CLRS-30 基准中的大多数算法上带来了改进。我们的代码可在 https://github.com/mirjanic/nar-latent-spaces 获取。
引用
@article{arxiv.2307.08874,
title = {Latent Space Representations of Neural Algorithmic Reasoners},
author = {Vladimir V. Mirjanić and Razvan Pascanu and Petar Veličković},
journal= {arXiv preprint arXiv:2307.08874},
year = {2024}
}
备注
24 pages, 19 figures; Accepted at the Second Learning on Graphs Conference (LoG 2023); updated layout, reorganized content, added journal reference