通过迭代符号精炼增强大型语言模型的伦理解释
计算与语言
2024-02-02 v1
摘要
自然语言推理(NLI)领域越来越多的研究关注大型语言模型(LLM)及其推理能力的应用和评估。尽管取得了成功,但LLM在其解释中仍然容易出现事实错误和不一致,在复杂领域的推理中提供的可控性和可解释性有限。本文聚焦于伦理NLI,研究混合神经符号技术如何增强LLM生成的伦理解释的逻辑有效性和对齐性。具体来说,我们提出了一个名为Logic-Explainer的溯因-演绎框架,该框架将LLM与外部反向链接求解器集成,以精炼逐步的自然语言解释,并共同验证其正确性、减少不完整性和最小化冗余。广泛的实证分析表明,Logic-Explainer可以在具有挑战性的伦理NLI任务上改进通过上下文学习方法和思维链(CoT)生成的解释,同时产生描述和支持模型推理的形式化证明。由于伦理NLI需要常识推理来识别潜在的道德违规,我们的结果表明神经符号方法在更广泛的多步NLI中的有效性,为增强LLM的逻辑一致性、可靠性和对齐性开辟了新的机会。
引用
@article{arxiv.2402.00745,
title = {Enhancing Ethical Explanations of Large Language Models through Iterative Symbolic Refinement},
author = {Xin Quan and Marco Valentino and Louise A. Dennis and André Freitas},
journal= {arXiv preprint arXiv:2402.00745},
year = {2024}
}
备注
Camera-ready for EACL 2024