中文

构建可信赖的神经符号人工智能系统:一致性、可靠性、可解释性与安全性

人工智能 2023-12-13 v1 计算与语言 机器学习

摘要

可解释性与安全性孕育信任。这要求模型表现出一致性与可靠性。为实现这些目标,有必要结合与AI应用相关的统计和符号AI方法来使用和分析数据与知识——仅靠单一方法是不够的。因此,我们论证并试图证明,神经符号人工智能(NeuroSymbolic AI)方法更适合将AI打造为可信赖的AI系统。我们提出了CREST框架,展示了如何在使用数据和知识支持健康与福祉等关键应用需求的神经符号方法基础上,构建一致性、可靠性、用户级可解释性与安全性。本文聚焦于将大型语言模型(LLM)作为CREST框架中选定的AI系统。由于其在处理广泛自然语言处理(NLP)场景方面的多功能性,LLM引起了研究人员的广泛关注。例如,ChatGPT和Google的MedPaLM已成为分别在一般信息和健康相关查询中提供信息的高度有前景的平台。然而,尽管结合了人类反馈和指令引导的微调,这些模型仍然是黑盒。例如,尽管设立了安全防护机制,ChatGPT仍可能生成不安全的回复。CREST提出了一种合理的方法,在神经符号框架内利用过程知识和基于图的知识,以阐明与LLM相关的挑战。

关键词

引用

@article{arxiv.2312.06798,
  title  = {Building Trustworthy NeuroSymbolic AI Systems: Consistency, Reliability, Explainability, and Safety},
  author = {Manas Gaur and Amit Sheth},
  journal= {arXiv preprint arXiv:2312.06798},
  year   = {2023}
}

备注

To Appear in AAAI AI Magazine. 15 pages, 7 figures