从大型语言模型提炼细粒度情感理解
计算与语言
2024-12-31 v2
摘要
细粒度情感分析(FSA)旨在从海量带情感倾向的文本中提取并总结用户意见。最近的研究表明，大型语言模型(LLM)具备卓越的情感理解能力。然而，直接将 LLM 用于 FSA 应用会造成高昂的推理成本。因此，本文探讨将细粒度情感理解从 LLM 蒸馏到小型语言模型(SLM)中的问题。我们让 LLM 检视并解释给定评论的情感，然后利用生成内容预训练 SLM。此外，我们开发了一个全面的 FSA 基准测试来评估 SLM 和 LLM。在该基准测试上的大量实验揭示了以下结果：(1)蒸馏显著提升了 SLM 在 FSA 任务中的性能，实现 F1 分数提升 6.00%，蒸馏模型仅使用 220M 参数即可超越 Llama-2-7b；(2)蒸馏赋予 SLM 出色的零样本情感分类能力，使其能够匹配甚至超过其教师模型。这些结果表明，LLM 从 FSA 中进行蒸馏是一个非常有前景的方向。我们将在 https://github.com/HITSZ-HLT/FSA-Distillation 上发布代码、数据和预训练模型权重。
引用
@article{arxiv.2412.18552,
title = {Distilling Fine-grained Sentiment Understanding from Large Language Models},
author = {Yice Zhang and Guangyu Xie and Hongling Xu and Kaiheng Hou and Jianzhu Bao and Qianlong Wang and Shiwei Chen and Ruifeng Xu},
journal= {arXiv preprint arXiv:2412.18552},
year = {2024}
}