大语言模型在挖掘在线健康话语中新兴观点方面的应用范围
计算与语言
2024-03-07 v1 社会与信息网络
摘要
在本文中，我们开发了一个由大语言模型（LLM）驱动的框架，用于策划和评估在线健康社区中的新兴观点挖掘。我们将新兴观点挖掘 formulate 为基于 Reddit 来源的（标题，评论）对之间的成对立场检测问题，其中帖子标题包含关于未预定义主题的新兴健康相关主张。这些主张由用户明确或隐含地表达。我们详细介绍了 (i) 一种主张识别方法——即识别帖子标题是否包含主张的任务，以及 (ii) 一个用于使用 LLM 进行立场检测的基于观点挖掘的评估框架。我们通过发布一个新的测试数据集 Long COVID-Stance（简称 LC-stance）来促进我们的探索，该数据集可用于评估 LLM 在在线健康社区中的主张识别和立场检测任务。长新冠（Long Covid）是一种新兴的新冠后疾病，其治疗指南不确定且复杂，因此成为我们任务的合适用例。LC-Stance 包含源自 Reddit 社区的长新冠治疗相关话语。我们的评估显示，GPT-4 在零样本立场检测方面显著优于先前的工作。随后，我们进行了彻底的 LLM 模型诊断，确定了主张类型（即隐含与明确主张）和评论长度作为模型误差的来源。
引用
@article{arxiv.2403.03336,
title = {Scope of Large Language Models for Mining Emerging Opinions in Online Health Discourse},
author = {Joseph Gatto and Madhusudan Basak and Yash Srivastava and Philip Bohlman and Sarah M. Preum},
journal= {arXiv preprint arXiv:2403.03336},
year = {2024}
}