用于算法推理的三元组边注意力
机器学习
2023-12-12 v1 人工智能
摘要
本工作研究神经算法推理，旨在开发能够从经典算法中学习的神经网络。主要挑战在于开发具有足够表达能力的图神经网络，使其既能预测给定算法的输出，又能很好地泛化至分布外数据。在本工作中，我们引入了一种名为三元组边注意力（TEA）的新型图神经网络层，这是一种感知边的图注意力层。我们的算法通过精确计算边隐变量，利用基于边的注意力聚合多个三元组消息来工作。我们在 CLRS 基准上实证验证了 TEA 层，并展示了平均 的提升。特别地，与最先进的模型相比，我们在字符串算法上实现了 的提升。
引用
@article{arxiv.2312.05611,
title = {Triplet Edge Attention for Algorithmic Reasoning},
author = {Yeonjoon Jung and Sungsoo Ahn},
journal= {arXiv preprint arXiv:2312.05611},
year = {2023}
}