第三方能否读懂我们的情绪？
计算与语言
2025-04-29 v1
摘要
旨在从作者书面文本中推断其私人状态（例如情绪和观点）的自然语言处理任务通常依赖于第三方标注者标注的数据集。然而，第三方标注者能够准确捕捉作者私人状态的假设在很大程度上仍未得到检验。在本研究中，我们进行了关于情绪识别任务的人类受试者实验，直接比较了第三方标注与第一方（作者提供的）情绪标签。我们的发现揭示了第三方标注——无论是人类标注者还是大语言模型(LLMs)提供的——在忠实代表作者私人状态方面存在显著局限性。然而，LLMs几乎在所有方面都优于人类标注者。我们进一步探索了提高第三方标注质量的方法。我们发现第一方作者与第三方人类标注者之间的人口统计学相似性提高了标注性能。而将第一方人口统计学信息纳入提示中，则导致LLMs性能有边际但统计显著的提升。我们引入了一个评估第三方标注局限性的框架，并呼吁改进标注实践以准确代表和建模作者的私人状态。
引用
@article{arxiv.2504.18673,
title = {Can Third-parties Read Our Emotions?},
author = {Jiayi Li and Yingfan Zhou and Pranav Narayanan Venkit and Halima Binte Islam and Sneha Arya and Shomir Wilson and Sarah Rajtmajer},
journal= {arXiv preprint arXiv:2504.18673},
year = {2025}
}