利用细粒度 LLM 反馈学习验证摘要事实
计算与语言
2024-12-17 v1 人工智能
摘要
训练自动摘要事实验证器通常面临缺乏人工标注数据的挑战。在本文中，我们探索了利用大语言模型 (LLM) 生成反馈的替代方法，以解决使用人工标注数据的固有局限性。我们引入了 FineSumFact，一个包含关于摘要的细粒度事实反馈的大规模数据集。我们采用 10 个不同的 LLM 进行多样化摘要生成，并使用 Llama-3-70B-Instruct 生成反馈。我们利用该数据集微调轻量级开源模型 Llama-3-8B-Instruct，在保持高性能的同时优化了资源效率。我们的实验结果表明，在使用人工生成的测试集进行评估时，基于大规模 LLM 生成数据集训练的模型超越了基于较小人工标注数据集训练的模型。使用 LLM 反馈微调事实验证模型比使用人工反馈更有效且更具成本效益。该数据集可在 https://github.com/DISL-Lab/FineSumFact 获取。
引用
@article{arxiv.2412.10689,
title = {Learning to Verify Summary Facts with Fine-Grained LLM Feedback},
author = {Jihwan Oh and Jeonghwan Choi and Nicole Hee-Yeon Kim and Taewon Yun and Hwanjun Song},
journal= {arXiv preprint arXiv:2412.10689},
year = {2024}
}
备注
Accepted at COLING 2025