使用自注意力网络实现确定性逻辑程序的推导
人工智能
2024-10-16 v1
摘要
本文提出，使用受限版本的逻辑推理可以由自注意力网络实现。我们旨在表明由transformer网络构建的大型语言模型(LLM)能够进行逻辑推理。我们通过分析自注意力网络来揭示LLM的潜力，这些网络是transformer网络的主要组件。我们的做法不基于自然语言的语义，而是基于逻辑推理的操作。在本文中，我们展示了使用全连接网络(FFN)构建的自注意力网络的层次结构可以实现一类逻辑公式的自上而下的推导。我们还展示了相同的类目下也实现了自下而上的推导。我们相信，这些结果表明LLM在逻辑推理方面具有隐式的推理能力。
引用
@article{arxiv.2410.11396,
title = {Implementing Derivations of Definite Logic Programs with Self-Attention Networks},
author = {Phan Thi Thanh Thuy and Akihiro Yamamoto},
journal= {arXiv preprint arXiv:2410.11396},
year = {2024}
}
备注
Presented at NeLaMKRR@KR, 2024 (arXiv:2410.05339)