从 LLM 蒸馏情感知识用于零样本情感识别
计算与语言
2025-05-26 v1
摘要
处理各种情感标签而无需专门训练的能力对于构建适应性强的情感识别（ER）系统至关重要。传统 ER 模型依赖固定标签集进行训练，难以泛化到其他标签空间。另一方面，大语言模型（LLMs）在多样化标签空间上展现出强大的零样本 ER 性能，但其规模限制了其在边缘设备上的使用。在本工作中，我们提出了一种对比蒸馏框架，无需人工标注即可将丰富的情感知识从 LLMs 转移到紧凑模型中。我们使用 GPT-4 生成描述性情感标注，提供了超越固定标签集的丰富监督信息。通过在共享嵌入空间中将文本样本与情感描述符对齐，我们的方法能够在不同情感类别、粒度和标签方案上进行零样本预测。蒸馏后的模型在多个数据集和标签空间上均有效，优于同等规模的强基线方法，并接近 GPT-4 的零样本性能，同时体积缩小了一万倍以上。
引用
@article{arxiv.2505.18040,
title = {Contrastive Distillation of Emotion Knowledge from LLMs for Zero-Shot Emotion Recognition},
author = {Minxue Niu and Emily Mower Provost},
journal= {arXiv preprint arXiv:2505.18040},
year = {2025}
}