走进未知的未知数：通过参与语言模型智能体对话进行人类学习
计算与语言
2024-10-21 v2 人工智能
信息检索
摘要
虽然语言模型（LM）驱动的聊天机器人和生成式搜索引擎在回答具体查询方面表现出色，但对于用户而言，在未知未知数的领域中发现信息仍然具有挑战性。为模拟儿童/学生通过倾听和参与父母/老师的对话来学习的常见教育场景，我们创建了协同式 STORM（Co-STORM）。与需要用户提出所有问题的问答系统不同，Co-STORM 允许用户观察和偶尔引导多个 LM 智能体之间的讨论。这些智能体会代表用户提问，使用户能够偶然发现未知的未知数。为 facilitate 用户交互，Co-STORM 帮助用户跟踪讨论进程，通过将榜识信息组织成动态脑图来进行归档，最终生成作为收获的综合报告。对于自动评估，我们构建了 WildSeek 数据集，通过收集具有用户目标的真实信息寻求记录来完成此任务。Co-STORM 在话语轨迹和报告质量方面均优于基线方法。在进一步的人类评估中，70% 的参与者偏好 Co-STORM 超过搜索引擎，78% 的参与者偏好其超过基于检索增强生成（RAG）聊天机器人。
引用
@article{arxiv.2408.15232,
title = {Into the Unknown Unknowns: Engaged Human Learning through Participation in Language Model Agent Conversations},
author = {Yucheng Jiang and Yijia Shao and Dekun Ma and Sina J. Semnani and Monica S. Lam},
journal= {arXiv preprint arXiv:2408.15232},
year = {2024}
}
备注
EMNLP 2024 Main