泰卢固情感分析的人类中心监督：超越准确性的系统性探究

情感分析在低资源语言环境中仍然具有挑战性，而在当今机器学习系统中，可解释性、人类对齐性和公平性日益成为不可或缺的方面。这些挑战既源于注释数据的稀缺，也源于进行可靠的人类可解释分析的困难，而这些分析超越预测准确性。泰卢固是首要的 Dravidian 语言之一，拥有超过 9600 万说话者，亦非例外。本文首先引入 TeSent，即一个大规模泰卢克情感分类数据集，包含情感标签和来自多个母语者的人类挑选的理由。这一资源使我们能够在这一低资源环境中研究基于理由的监督，以实现模型与人类推理的对齐。我们对五个基于变换器的模型进行微调，分别使用和不使用理由监督，并对其进行分类性能、解释质量和社会偏见的评估。为便于受控的公平性评估，我们额外构建了 TeEEC，即用于泰卢克情感分析的评估语料库。我们的结果表明，纳入人类理由一致改善了对齐性，往往还导致在预测性能上的整体性提升。我们进一步提供了关于多面向解释质量和公平性的广泛分析，为在资源稀缺语言语境中对齐导向监督的更广泛影响提供了见解。