ShareChat：野生聊天机器人对话数据集
计算与语言
2026-05-19 v4 人工智能
人机交互
摘要
通过均匀、文本-only 接口评估大型语言模型 (LLM)，当前学术基准掩盖了不同商业平台独特设计和 affordances 对真实用户行为和系统性能的影响。为弥合这一差距，我们提出 ShareChat，这是第一个大规模语料库，包含 142,808 场对话 (660,293 轮) 来自 ChatGPT、Perplexity、Grok、Gemini 和 Claude 的公开共享 URL。ShareChat 保留了包括 citations、thinking traces 和 code artifacts 在内的本机平台 affordances，覆盖 95 种语言和 2023 年 4 月至 2025 年 10 月的时间范围，补充了现有 homogenize 这些交互的语料库。为展示数据集的评估实用性，我们提出三个案例研究：对话完整性分析评估跨平台意图满足差异、来源 grounding 分析比较 search-augmented 系统的引用策略以及时序分析揭示不同响应延迟动态。总体而言，这些分析表明了单一平台或剥离 affordances 的语料库无法访问的研究问题。该数据集已公开提供。
引用
@article{arxiv.2512.17843,
title = {ShareChat: A Dataset of Chatbot Conversations in the Wild},
author = {Yueru Yan and Tuc Nguyen and Bo Su and Melissa Lieffers and Thai Le},
journal= {arXiv preprint arXiv:2512.17843},
year = {2026}
}