基于注意力的迭代分解用于张量积表示
机器学习
2024-06-04 v1 人工智能
摘要
在最近的研究中,张量积表示(TPR)通过学习数据的组合结构,被应用于深度神经网络的系统性泛化任务。然而,这些先前的工作在从未知测试数据中发现和表示符号结构方面表现出有限的性能,因为它们对结构表示的分解是不完整的。在这项工作中,我们提出了一种基于注意力的迭代分解(AID)模块,旨在增强对使用TPR从序列输入数据编码的结构化表示的分解操作。我们的AID可以轻松适应任何基于TPR的模型,并通过输入特征和结构化表示之间的竞争性注意力机制提供增强的系统性分解。在我们的实验中,AID通过显著提高基于TPR的先前工作在系列系统性泛化任务上的性能,展示了其有效性。此外,在定量和定性评估中,AID产生了比其他工作更具组合性和良好边界的结构表示。
引用
@article{arxiv.2406.01012,
title = {Attention-based Iterative Decomposition for Tensor Product Representation},
author = {Taewon Park and Inchul Choi and Minho Lee},
journal= {arXiv preprint arXiv:2406.01012},
year = {2024}
}
备注
Published in ICLR 2024