保持中立并非易事——基于人类与大语言模型的患者评论情感标注
计算与语言
2024-04-30 v1
摘要
情感分析是聚合患者声音的重要工具，旨在为医疗服务提供有针对性的改进。其前提是拥有已标注情感的领域内数据。本文记录了为挪威公共卫生研究所（NIPH）收集的患者调查中的自由文本评论添加情感标注的工作。然而，标注可能是一个耗时且资源密集的过程，尤其是在需要领域专业知识时。因此，我们也评估了使用大语言模型（LLMs）作为标注器这一可能替代人类标注的方案。我们针对两个公开可用的挪威语预训练大语言模型进行了广泛评估，尝试了不同的提示和上下文学习配置，并将其性能与人类标注者进行比较。我们发现，即使在零样本运行中，模型在二元情感分类上的表现也远超基线，但在完整数据集上仍无法与人类标注者相匹敌。
引用
@article{arxiv.2404.18832,
title = {It's Difficult to be Neutral -- Human and LLM-based Sentiment Annotation of Patient Comments},
author = {Petter Mæhlum and David Samuel and Rebecka Maria Norman and Elma Jelin and Øyvind Andresen Bjertnæs and Lilja Øvrelid and Erik Velldal},
journal= {arXiv preprint arXiv:2404.18832},
year = {2024}
}