从文本到情感：揭示 LLM 的情感标注能力
计算与语言
2024-09-02 v1
摘要
训练情感识别模型严重依赖人工标注数据，这带来了多样性、质量和成本方面的挑战。在本文中，我们探讨了大型语言模型（LLM），特别是 GPT4，在自动化或辅助情感标注方面的潜力。我们从三个方面将 GPT4 与监督模型或人类进行比较：与人类标注的一致性、与人类感知的对齐程度，以及对模型训练的影响。我们发现，使用聚合人类标注作为真实值的常用指标可能会低估 GPT-4 的性能，且我们的人类评估实验表明，在多个数据集和评估者中，人们始终偏好 GPT-4 的标注而非人类的标注。此外，我们研究了将 GPT-4 用作标注过滤过程以改进模型训练的影响。总而言之，我们的发现突显了 LLM 在情感标注任务中的巨大潜力，并强调了对更精细评估方法的需求。
引用
@article{arxiv.2408.17026,
title = {From Text to Emotion: Unveiling the Emotion Annotation Capabilities of LLMs},
author = {Minxue Niu and Mimansa Jaiswal and Emily Mower Provost},
journal= {arXiv preprint arXiv:2408.17026},
year = {2024}
}
备注
to be published in Interspeech 2024