基于 LLM 的多任务学习用于隐式情感分析:数据级与任务级自动权重学习
计算与语言
2024-12-13 v1 人工智能
摘要
隐式情感分析(ISA)因缺乏显著提示词而面临重大挑战。以往方法在数据不足和推理能力有限以推断潜在意见方面受限。将多任务学习(MTL)与大型语言模型(LLM)集成有望使不同大小的模型可靠地感知和识别 ISA 中的真实意见。然而,现有的 MTL 方法受到来自两个来源的不确定性限制:数据级不确定性,源于 LLM 生成的上下文信息中的幻觉问题;以及任务级不确定性,源于模型处理上下文信息能力的差异。为处理这些不确定性,我们引入了 MT-ISA,一种新的 MTL 框架,通过自动化 MTL 提升 ISA。具体而言,MT-ISA 使用生成式 LLM 构建辅助任务以补充情感元素,并纳入自动 MTL 以充分利用辅助数据。我们引入数据级和任务级自动权重学习(AWL),动态识别关系并优先排序更可靠的数据和关键任务,使不同大小的模型能够根据其推理能力自适应地学习细粒度权重。我们针对数据级 AWL 探讨了三种策略,同时引入同质不确定性用于任务级 AWL。广泛的实验结果表明,不同大小的模型在 MT-ISA 中实现了主预测与辅助任务之间的最佳平衡。这凸显了该方法的有效性和适应性。
引用
@article{arxiv.2412.09046,
title = {Multi-Task Learning with LLMs for Implicit Sentiment Analysis: Data-level and Task-level Automatic Weight Learning},
author = {Wenna Lai and Haoran Xie and Guandong Xu and Qing Li},
journal= {arXiv preprint arXiv:2412.09046},
year = {2024}
}
备注
11 pages, 6 figures, and 6 tables