面向新闻标题定向情感的LLM：探索描述性-规定性困境

新闻标题常常通过有意描绘特定实体来唤起情感，这使得标题的定向情感分析（TSA）成为一项有价值但困难的任务。由于其主观性，创建TSA数据集可能涉及从描述性到规定性的各种标注范式，要么鼓励要么限制主观性。LLM凭借其广泛的语言和世界知识以及上下文学习能力，非常适合TSA，但其性能取决于提示设计。在本文中，我们比较了最先进的LLM和微调编码器模型在使用描述性和规定性数据集对多种语言的新闻标题进行TSA时的准确性。沿着描述性-规定性连续统，我们分析了从简单零样本到精细少样本提示的提示规定性如何影响性能。最后，我们通过校准误差和与人工标签变异的比较，评估了LLM量化不确定性的能力。我们发现，LLM在描述性数据集上优于微调编码器，而校准和F1分数通常随着规定性的增加而提高，但最佳水平有所不同。