神经符号 AI 在自然语言处理中是否兑现了其承诺?一项结构化综述
人工智能
2022-12-16 v2 计算与语言
机器学习
摘要
神经符号人工智能(NeSy)的倡导者断言,将深度学习与符号推理结合将产生强于任一单一范式的 AI。尽管深度学习已取得巨大成功,但普遍认为即便我们最优秀的深度学习系统在抽象推理方面也并不出色。由于推理与语言密不可分,直觉上自然语言处理(NLP)应是 NeSy 尤为合适的候选领域。我们对实现 NeSy 用于 NLP 的研究进行了结构化综述,旨在回答 NeSy 是否确实兑现了其承诺这一问题:推理、分布外泛化、可解释性、从小数据学习与推理,以及向新领域的可迁移性。我们考察知识表示(如规则与语义网络)、语言结构与关系结构的影响,以及隐式或显式推理是否有助于更高的承诺得分。我们发现,将逻辑编译进神经网络中的系统满足最多 NeSy 目标,而知识表示或神经架构类型等其他因素未显示出与目标达成之间的明确关联。我们发现推理的定义存在诸多不一致,尤其涉及人类水平推理时,这影响了模型架构的决策并得出跨研究未必一致的结论。因此我们倡导对人类推理理论的应用及适当基准的开发采取更严谨的方法,期望这能增进对该领域进展的理解。我们将数据与代码发布于 github 以供进一步分析。
引用
@article{arxiv.2202.12205,
title = {Is Neuro-Symbolic AI Meeting its Promise in Natural Language Processing? A Structured Review},
author = {Kyle Hamilton and Aparna Nayak and Bojan Božić and Luca Longo},
journal= {arXiv preprint arXiv:2202.12205},
year = {2022}
}
备注
Survey