面向多标签情感理解的大语言模型能力评估
计算与语言
2025-01-06 v2
摘要
大语言模型（LLM）显示出有前景的学习和推理能力。与其他NLP任务相比，多语言和多标签情感评估任务在LLM中仍有待探索。本文提出了EthioEmo数据集，用于四种埃塞俄比亚语（Amharic, Afan Oromo, Somali, Tigrinya）的多标签情感分类。我们对来自SemEval 2018 Task 1的额外英语多标签情感数据集进行了广泛实验。我们的评估包括编码器-only、编码器-解码器和解码器-only语言模型。我们比较了LLM的零样和少样方法与对较小语言模型的微调。结果表明，即使对于高资源语言如英语，准确的多标签情感分类仍不足，高资源语言和低资源语言之间的性能差距很大。结果还显示根据语言和模型类型，性能水平存在差异。EthioEmo数据集公开可用，以进一步提高对语言模型中情感理解以及人们通过不同语言表达情感的方式的理解。
引用
@article{arxiv.2412.17837,
title = {Evaluating the Capabilities of Large Language Models for Multi-label Emotion Understanding},
author = {Tadesse Destaw Belay and Israel Abebe Azime and Abinew Ali Ayele and Grigori Sidorov and Dietrich Klakow and Philipp Slusallek and Olga Kolesnikova and Seid Muhie Yimam},
journal= {arXiv preprint arXiv:2412.17837},
year = {2025}
}
备注
COLING 2025, main conference, long