LLM 是否认为事实驱动问题的人类回答令人困惑？基于 Reddit 的案例研究
计算与语言
2024-04-02 v1 机器学习
摘要
已有研究表明，大型语言模型 (LLMs) 能够准确回答在线语境中的问题。然而，关于使用 LLMs 对事实驱动社交媒体问题的人类式回答进行建模的研究仍不充分。在本工作中，我们研究了 LLMs 如何对多个特定主题的 Reddit 社区（或称 subreddits）中提出的事实驱动问题的各种人类回答进行建模。我们收集并发布了一个包含 409 个事实驱动问题和 7,534 个多样化人类评分回答的数据集，这些数据来自 3 个类别（职业、社会身份和地理位置）的 15 个 r/Ask{Topic} 社区。我们发现，与低评分的人类回答相比，LLMs 在对此类问题的高评分人类回答进行建模方面表现要好得多。我们基于初步发现提出了未来研究的几个方向。
引用
@article{arxiv.2404.01147,
title = {Do LLMs Find Human Answers To Fact-Driven Questions Perplexing? A Case Study on Reddit},
author = {Parker Seegmiller and Joseph Gatto and Omar Sharif and Madhusudan Basak and Sarah Masud Preum},
journal= {arXiv preprint arXiv:2404.01147},
year = {2024}
}
备注
4 pages, 2 figures