CaLM：对比大小语言模型以验证基于引用的生成
计算与语言
2024-06-25 v2 人工智能
机器学习
摘要
基于引用的生成旨在通过准确引用可验证来源，使语言模型（LM）能够生成更可信和可问责的响应。然而，现有方法无论是向LM提供原始材料还是预处理材料，仍容易出错。为解决这一问题，我们引入了CaLM，一种新颖的验证框架。CaLM利用一个洞察：一个鲁棒的基于引用的响应应与仅从其引用来源推导出的信息一致。我们的框架使较小的LM（较少依赖参数记忆，擅长处理与查询相关的信息）能够验证较大LM的输出。与较小LM输出（仅依赖引用文档）紧密对齐的较大LM响应被验证为正确。存在差异的响应通过反馈循环进行迭代优化。在三个开放域问答数据集上的实验表明，无需任何模型微调，平均绝对性能提升了1.5%至7%。
引用
@article{arxiv.2406.05365,
title = {CaLM: Contrasting Large and Small Language Models to Verify Grounded Generation},
author = {I-Hung Hsu and Zifeng Wang and Long T. Le and Lesly Miculicich and Nanyun Peng and Chen-Yu Lee and Tomas Pfister},
journal= {arXiv preprint arXiv:2406.05365},
year = {2024}
}
备注
ACL 2024 Camera Ready Version