理解 AI 驱动科学研究工具的使用与参与度：Asta 交互数据集
人机交互
2026-02-27 v1 人工智能
信息检索
摘要
AI 驱动的科学研究工具正快速集成到研究工作流程中, 但该领域缺乏对研究者在实际场景中如何使用这些系统的清晰视角。我们提出并分析了 Asta 交互数据集, 这是一个包含超过 20 万用户查询和交互日志的大规模资源, 来自部署在 LLM 驱动检索增强生成平台上的两款工具（文献发现界面和科学问答界面）。使用该数据集, 我们刻画了查询模式、参与行为, 以及使用随经验的演变方式。我们发现, 用户提交的查询比传统搜索更长且更复杂, 并将系统视为合作性研究伙伴, 将任务如撰写内容和识别研究空白委托于系统。用户将生成的响应视为持久性产物, 反复访问并在输出和引用证据之间进行非线性导航。随着经验的积累, 用户会提出更有针对性的查询, 并更深入地参与引用证据, 尽管即便在有经验的用户身上, 关键字样式查询仍然存在。我们发布了该匿名数据集和分析结果, 并提供一种新的查询意图分类法, 以为未来设计真实世界的 AI 研究助手提供指导, 并支持真实世界的评估。
关键词
引用
@article{arxiv.2602.23335,
title = {Understanding Usage and Engagement in AI-Powered Scientific Research Tools: The Asta Interaction Dataset},
author = {Dany Haddad and Dan Bareket and Joseph Chee Chang and Jay DeYoung and Jena D. Hwang and Uri Katz and Mark Polak and Sangho Suh and Harshit Surana and Aryeh Tiktinsky and Shriya Atmakuri and Jonathan Bragg and Mike D'Arcy and Sergey Feldman and Amal Hassan-Ali and Rubén Lozano and Bodhisattwa Prasad Majumder and Charles McGrady and Amanpreet Singh and Brooke Vlahos and Yoav Goldberg and Doug Downey},
journal= {arXiv preprint arXiv:2602.23335},
year = {2026}
}