WIKIGENBENCH：探索真实场景下的全长维基百科生成
计算与语言
2024-12-18 v2
摘要
在真实场景下为新兴事件生成全面且准确的维基百科文章面临着显著挑战。现有的尝试要么仅关注短片段，要么使用不足以评估真实场景的指标。在本文中，我们构建了 WIKIGENBENCH，这是一个包含 1,320 个条目的新基准，旨在使生成和评估都与真实场景保持一致。在生成方面，我们探索了一种真实场景，即利用来自网络源的输入文档，为新生成带有引用的结构化全长维基百科文章。在评估方面，我们整合了系统性指标和基于 LLM 的指标，以评估可验证性、组织结构以及其他与真实场景一致的方面。基于该基准，我们在三种常用框架下使用各种模型进行了广泛实验：直接 RAG、基于分层结构的 RAG 以及带有微调生成模型的 RAG。实验结果表明，基于分层的方法可以生成更全面的内容，而微调方法则实现了更好的可验证性。然而，即使是最好的方法与现有维基百科内容相比仍存在显著差距，表明有必要进行进一步研究。
引用
@article{arxiv.2402.18264,
title = {WIKIGENBENCH: Exploring Full-length Wikipedia Generation under Real-World Scenario},
author = {Jiebin Zhang and Eugene J. Yu and Qinyu Chen and Chenhao Xiong and Dawei Zhu and Han Qian and Mingbo Song and Weimin Xiong and Xiaoguang Li and Qun Liu and Sujian Li},
journal= {arXiv preprint arXiv:2402.18264},
year = {2024}
}
备注
COLING 2025 Camera Ready