关系神经符号马尔可夫模型
人工智能
2024-12-18 v1 机器学习
摘要
序列问题在人工智能中无处不在，例如在强化学习或自然语言处理中。最先进的深度序列模型（如 Transformer）在这些场景中表现出色，但无法保证满足可信部署所必需的约束。相比之下，神经符号人工智能（NeSy）提供了一种严谨的形式化方法，可在深度概率模型中强制执行约束，但在序列问题上呈指数级扩展。为了克服这些局限性，我们引入了关系神经符号马尔可夫模型（NeSy-MMs），这是一类新的端到端可微序列模型，能够集成并证明满足关系逻辑约束。我们提出了一种在序列场景中具有可扩展性的推理与学习策略，该策略结合了近似贝叶斯推理、自动推理和梯度估计。我们的实验表明，NeSy-MMs 能够解决超越当前神经符号 AI 最先进水平的问题，并且仍能对期望属性提供强有力的保证。此外，我们表明我们的模型具有更强的可解释性，并且约束可以在测试时适应分布外场景。
引用
@article{arxiv.2412.13023,
title = {Relational Neurosymbolic Markov Models},
author = {Lennert De Smet and Gabriele Venturato and Luc De Raedt and Giuseppe Marra},
journal= {arXiv preprint arXiv:2412.13023},
year = {2024}
}
备注
Accepted at AAAI 2025