RESOLVE：使用向量符号处理结合符号级与对象级特征的关系推理
人工智能
2024-11-14 v1 机器学习
摘要
现代基于Transformer的编码器-解码器架构在推理任务中表现不佳，因为它们无法有效提取输入对象（数据/词元）之间的关联信息。最近的工作引入了嵌入在Transformer层之间的Abstractor模块来解决这一差距。然而，Abstractor层虽然在捕获关联信息（纯关系推理）方面表现出色，但在需要同时进行对象级和关系级推理的任务（部分关系推理）中面临挑战。为了解决这个问题，我们提出了RESOLVE，这是一种神经-向量符号架构，它利用快速高效的操作，如捆绑（求和）和绑定（哈达玛积），在高维空间中将对象级特征与关系表示相结合，使得对象级特征和关系表示能够在同一结构中共存而互不干扰。RESOLVE由一种在双极高维空间中运行的新型注意力机制驱动，与现有最优技术相比，可以实现快速的注意力分数计算。通过利用这种设计，该模型实现了低计算延迟和内存效率。与现有最优方法相比，RESOLVE在纯关系推理任务（如排序）以及部分关系推理任务（如数学问题求解）中，不仅提供了更好的泛化能力，还实现了更高的准确率。
引用
@article{arxiv.2411.08290,
title = {RESOLVE: Relational Reasoning with Symbolic and Object-Level Features Using Vector Symbolic Processing},
author = {Mohamed Mejri and Chandramouli Amarnath and Abhijit Chatterjee},
journal= {arXiv preprint arXiv:2411.08290},
year = {2024}
}