中文

AS2——注意力基软答案集:一种面向神经软符号推理的端到端可微架构

人工智能 2026-03-20 v1

摘要

神经符号人工智能系统通常通过非可微边界将神经感知模块与离散符号求解器耦合,阻止约束满足反馈在训练期间到达感知编码器。我们引入AS2(注意力基软答案集),一种完全可微的神经符号架构,用软连续近似取代离散求解器,近似Answer Set Programming(ASP)即时 consequences 算子 TPT_P。AS2在前向传播过程中保持每个位置在有限符号域上的概率分布,通过最小化概率化 TPT_P 的固定点残差来实现端到端训练,从而在不调用外部求解器的情况下对约束检查进行可微分。在推理和训练过程中,该架构完全不使用常规位置嵌入。相反,它通过反映声明式ASP规范的约束组成员嵌入来编码问题结构,使模型对任意位置索引不敏感。在Visual Sudoku上,AS2在1000个测试板上实现了99.89%的单元格准确率和100%的约束满足(由Clingo验证),使用贪婪受约束解码程序,无需外部求解器。在MNIST加法(N{2,4,8}N \in \{2, 4, 8\} addends)任务中,AS2在所有规模上实现了99.7%以上的数字准确率。这些结果表明,软可微固定点算子、约束感知注意力和声明式约束规范,能够在保持完全端到端可微的同时,匹配或超越管道和求解器基于的神经符号系统。

关键词

引用

@article{arxiv.2603.18436,
  title  = {AS2 -- Attention-Based Soft Answer Sets: An End-to-End Differentiable Neuro-Soft-Symbolic Reasoning Architecture},
  author = {Wael AbdAlmageed},
  journal= {arXiv preprint arXiv:2603.18436},
  year   = {2026}
}