LMSYS-Chat-1M：一个大规模真实世界LLM对话数据集
计算与语言
2024-03-12 v4 人工智能
摘要
由于大型语言模型（LLMs）在各种应用中的广泛使用，研究人们在真实场景中如何与LLMs交互日益重要。本文介绍LMSYS-Chat-1M，一个包含与25个最先进LLM的一百万条真实世界对话的大规模数据集。该数据集采集自我们Vicuna demo与Chatbot Arena网站上野外的210K唯一IP地址。我们概述数据集内容，包括其整理过程、基础统计与主题分布，突出其多样性、原创性与规模。我们通过四个用例展示其通用性：开发表现类似GPT-4的内容审核模型、构建安全基准、训练表现类似Vicuna的指令跟随模型，以及创建具有挑战性的基准问题。我们相信该数据集将成为理解与推进LLM能力的宝贵资源。数据集公开于 https://huggingface.co/datasets/lmsys/lmsys-chat-1m。
引用
@article{arxiv.2309.11998,
title = {LMSYS-Chat-1M: A Large-Scale Real-World LLM Conversation Dataset},
author = {Lianmin Zheng and Wei-Lin Chiang and Ying Sheng and Tianle Li and Siyuan Zhuang and Zhanghao Wu and Yonghao Zhuang and Zhuohan Li and Zi Lin and Eric P. Xing and Joseph E. Gonzalez and Ion Stoica and Hao Zhang},
journal= {arXiv preprint arXiv:2309.11998},
year = {2024}
}