ChronoPlay：建模游戏 RAG 基准中的双重动态与真实性的框架
计算与语言
2025-10-22 v1
摘要
检索增强生成 (RAG) 系统在动态领域如在线游戏中日益重要，但缺乏专门的基准数据集，使得在该领域进行标准化评估受到阻碍。核心难点在于双重动态：游戏内容更新与玩家社区关注力度不断变化之间的持续互动。进一步要求自动化此类基准数据集，引入了针对玩家导向真实性的关键需求，以确保生成的问题具有现实性。为解决这一集成挑战，我们提出 ChronoPlay，一个用于自动化和持续生成游戏 RAG 基准数据集的新框架。ChronoPlay 利用双重动态更新机制跟踪两种形式的变更，以及一个双来源合成引擎，从官方来源和玩家社区中获取信息，以确保事实正确性和真实查询模式。我们在三个不同的游戏上实现了该框架，创建了游戏领域的第一个动态 RAG 基准数据集，为在这些复杂且现实条件下的模型性能提供了新见解。代码可在 https://github.com/hly1998/ChronoPlay 查看。
引用
@article{arxiv.2510.18455,
title = {ChronoPlay: A Framework for Modeling Dual Dynamics and Authenticity in Game RAG Benchmarks},
author = {Liyang He and Yuren Zhang and Ziwei Zhu and Zhenghui Li and Shiwei Tong},
journal= {arXiv preprint arXiv:2510.18455},
year = {2025}
}