中文

通过迭代符号精炼增强大型语言模型的伦理解释

计算与语言 2024-02-02 v1

摘要

自然语言推理(NLI)领域越来越多的研究关注大型语言模型(LLM)及其推理能力的应用和评估。尽管取得了成功,但LLM在其解释中仍然容易出现事实错误和不一致,在复杂领域的推理中提供的可控性和可解释性有限。本文聚焦于伦理NLI,研究混合神经符号技术如何增强LLM生成的伦理解释的逻辑有效性和对齐性。具体来说,我们提出了一个名为Logic-Explainer的溯因-演绎框架,该框架将LLM与外部反向链接求解器集成,以精炼逐步的自然语言解释,并共同验证其正确性、减少不完整性和最小化冗余。广泛的实证分析表明,Logic-Explainer可以在具有挑战性的伦理NLI任务上改进通过上下文学习方法和思维链(CoT)生成的解释,同时产生描述和支持模型推理的形式化证明。由于伦理NLI需要常识推理来识别潜在的道德违规,我们的结果表明神经符号方法在更广泛的多步NLI中的有效性,为增强LLM的逻辑一致性、可靠性和对齐性开辟了新的机会。

关键词

引用

@article{arxiv.2402.00745,
  title  = {Enhancing Ethical Explanations of Large Language Models through Iterative Symbolic Refinement},
  author = {Xin Quan and Marco Valentino and Louise A. Dennis and André Freitas},
  journal= {arXiv preprint arXiv:2402.00745},
  year   = {2024}
}

备注

Camera-ready for EACL 2024