通过解释一致性微调实现一致的自然语言解释
计算与语言
2024-01-26 v1 人工智能
机器学习
摘要
大型语言模型 (LLMs) 常常生成令人信服且流畅的解释。然而，与人类不同，它们常常对不同的输入生成不一致的解释。例如，一个 LLM 在回答“麻雀会飞吗？”时可能生成解释“所有鸟都会飞”，但同时却对相关问题“企鹅会飞吗？”回答“不会”。解释应在相关示例间保持一致，以便人类能够在多个示例上模拟 LLM 的决策过程。我们提出了解释一致性微调 (EC-finetuning)，这是一种使 LLM 适应于对相关示例生成更一致的自然语言解释的方法。EC-finetuning 涉及在精心构建以包含一致性解释的合成数据上微调 LLM。在多个领域的各种问答数据集上，EC-finetuning 在四个微调数据集上实现了 10.0% 的相对解释一致性提升，并泛化到微调期间未见过的七个分布外数据集（相对提升 4.5%）。代码可在 https://github.com/yandachen/explanation-consistency-finetuning 获取。
引用
@article{arxiv.2401.13986,
title = {Towards Consistent Natural-Language Explanations via Explanation-Consistency Finetuning},
author = {Yanda Chen and Chandan Singh and Xiaodong Liu and Simiao Zuo and Bin Yu and He He and Jianfeng Gao},
journal= {arXiv preprint arXiv:2401.13986},
year = {2024}
}
备注
arXiv admin note: text overlap with arXiv:2307.08678