情感支柱：面向细粒度情境感知与情境无关情感分类的知识蒸馏
计算与语言
2025-04-24 v1
摘要
大多数情感分析数据集缺乏情感表达的上下文，后者对于情感理解至关重要，并且主要受限于少量情感类别。像 GPT-4 这样的基础大型语言模型(LLM)会过度预测情感且资源密集。我们设计了一个基于 LLM 的数据合成管道，利用大型模型 Mistral-7b 生成训练示例，以供更易访问、轻量级的 BERT 类编码器模型使用。我们关注扩大示例的语义多样性，提出将生成 grounded 到叙事语料库中，以产生非重复的、以故事-角色为中心的独特情境utterances，覆盖超过 28 个情感类别。通过在 450 个 GPU 小时内运行 70 万次推理，我们贡献了包含 10 万个带情境示例和 30 万个无情境示例的数据集，以覆盖两种场景。我们用它对预训练编码器进行微调，得到多个情感支柱模型。我们展示了情感支柱模型在针对 GoEmotions、ISEAR、IEMOCAP 和 EmoContext 等特定任务进行微调时，对新领域具有高度适应性，达到了前沿性能。我们还对数据集进行统计分析和人类评估，确认了在utterance 多样性（尽管中性类别较弱）和情境个性化方面的成功措施的有效性，同时指出在管道中处理超出类别标签方面的需求。
引用
@article{arxiv.2504.16855,
title = {Monte Carlo Planning with Large Language Model for Text-Based Game Agents},
author = {Zijing Shi and Meng Fang and Ling Chen},
journal= {arXiv preprint arXiv:2504.16855},
year = {2025}
}