被偏移与被忽视的：面向任务的用户-GPT交互调查
计算与语言
2023-10-20 v1
摘要
大语言模型（LLMs）近期的进展已产生在多种 NLP 任务上表现出卓越性能的模型。然而，现有 NLP 研究的关注点是否准确捕捉了人类用户的真实需求仍不清楚。本文通过对大规模用户-GPT 对话的收集，对当前 NLP 研究与真实世界 NLP 应用需求之间的分歧提供了全面分析。我们分析了对 GPT 的大规模真实用户查询。我们将这些查询与现有 NLP 基准任务进行比较，并识别出用户频繁向 LLM 请求的任务与学术研究常见研究的任务之间的显著差距。例如，我们发现诸如“设计”和“规划”之类的任务在用户交互中普遍存在，但在传统 NLP 基准中很大程度上被忽视或有所不同。我们调查了这些被忽视的任务，剖析它们带来的实际挑战，并为实现使 LLM 更好契合用户需求的路线图提供见解。
引用
@article{arxiv.2310.12418,
title = {The Shifted and The Overlooked: A Task-oriented Investigation of User-GPT Interactions},
author = {Siru Ouyang and Shuohang Wang and Yang Liu and Ming Zhong and Yizhu Jiao and Dan Iter and Reid Pryzant and Chenguang Zhu and Heng Ji and Jiawei Han},
journal= {arXiv preprint arXiv:2310.12418},
year = {2023}
}
备注
EMNLP 2023