语言模型生成器-验证器一致性的基准测试与改进
计算与语言
2023-10-04 v1 机器学习
摘要
截至 2023 年 9 月，ChatGPT 能正确回答“7+8 等于多少”为 15，但当被问及“7+8=15，对还是错”时，它回答“错”。这种生成与验证答案之间的不一致在语言模型（LMs）中十分普遍，并削弱了信任。在本文中，我们提出一个衡量生成与验证之间一致性的框架（我们称之为生成器-验证器一致性，或 GV-一致性），发现即便是最先进的 LM GPT-4，其 GV-一致性也仅有 76% 的时间。为改进 LMs 的一致性，我们提出在过滤后的 GV 一致的生成器与验证器响应上微调，并称此方法为一致性微调。我们发现该方法将 Alpaca-30B 的 GV-一致性从 60% 提升至 93%，且改进可外推至未见过的任务和领域（例如，正向风格迁移的 GV-一致性可外推至幽默等未见风格）。除改进一致性外，一致性微调在不使用任何标注数据的情况下提升了生成器质量与验证器准确率。在涵盖数学问题、知识密集型 QA 和指令遵循的 6 项任务上评估，我们的方法在所有任务上将生成器质量提升 16%、验证器准确率提升 6.3%。
引用
@article{arxiv.2310.01846,
title = {Benchmarking and Improving Generator-Validator Consistency of Language Models},
author = {Xiang Lisa Li and Vaishnavi Shrivastava and Siyan Li and Tatsunori Hashimoto and Percy Liang},
journal= {arXiv preprint arXiv:2310.01846},
year = {2023}
}
备注
preprint