Cross-Refine：通过联合学习改进自然语言解释生成
计算与语言
2024-12-03 v2 机器学习
摘要
自然语言解释(NLE)对于阐明大型语言模型(LLM)决策的推理过程至关重要。已经developed许多技术来生成NLE。然而，像人类一样，LLM在第一次尝试时可能不总能产生最优的NLE。灵感来自人类学习过程，我们引入Cross-Refine，该方法通过部署两个LLM作为生成器和批评家来实现角色建模。生成器输出第一个NLE，然后利用由批评家提供的反馈和建议对该初始解释进行精炼。Cross-Refine不需要任何监督训练数据或额外训练。在使用三个最先进的开源LLM通过自动和人类评估验证Cross-Refine的同时，我们选取Self-Refine(Madaan等，2023)作为基准，该方法仅利用自我反馈来精炼解释。我们的发现表明，Cross-Refine在自动评估和用户研究中均优于Self-Refine。同时，Cross-Refine可以与较弱的LLM有效工作，而Self-Refine仅在ChatGPT等强大模型上才能获得强大结果。此外，我们进行了ablation研究来评估反馈和建议的重要性。两者在精炼解释方面都发挥重要作用。我们进一步在英语和德语的双语数据集上评估了Cross-Refine。
引用
@article{arxiv.2409.07123,
title = {Cross-Refine: Improving Natural Language Explanation Generation by Learning in Tandem},
author = {Qianli Wang and Tatiana Anikina and Nils Feldhus and Simon Ostermann and Sebastian Möller and Vera Schmitt},
journal= {arXiv preprint arXiv:2409.07123},
year = {2024}
}
备注
Accepted at COLING 2025; long paper