利用大语言模型对梦境报告的情感内容进行自动评分
计算与语言
2023-03-01 v1
摘要
在梦境研究领域，对梦内容的研究通常依赖于做梦者在睡醒后提供的言语报告分析。该任务传统上由训练有素的标注者通过手动评分完成，耗时巨大。尽管已有大量研究指出自然语言处理（NLP）工具可支持梦境报告的自动分析，但已有方法缺乏对报告完整上下文的推理能力，且需要大量的数据预处理。此外，在大多数情况下，这些方法未针对标准手动评分方法进行验证。在本工作中，我们采用大语言模型（LLMs）来研究和复现梦境报告的手动标注，使用现成与定制混合的方法，重点关注报告中所提及的情绪，从而解决上述局限。我们的结果表明，现成方法性能较低，可能是由于不同（组）个体收集的报告之间存在固有的语言差异。另一方面，所提出的定制文本分类方法取得了较高性能，且对潜在偏差具有鲁棒性。总体而言，这些观察表明我们的方法可应用于大型梦境数据集的分析，并有助于提升研究间结果的可复现性与可比性。
引用
@article{arxiv.2302.14828,
title = {Automatic Scoring of Dream Reports' Emotional Content with Large Language Models},
author = {Lorenzo Bertolini and Valentina Elce and Adriana Michalak and Giulio Bernardi and Julie Weeds},
journal= {arXiv preprint arXiv:2302.14828},
year = {2023}
}