利用持续学习增强大型语言模型以进行基于方面的情感分析
计算与语言
2024-05-10 v1
摘要
基于方面的情感分析（ABSA）是情感分析的一个重要子任务，旨在提取方面并预测其情感。现有的大多数研究集中于通过在目标领域数据集上微调领域特定模型（在源领域上训练）来提高目标领域的性能。很少有工作提出针对 ABSA 的持续学习任务，其旨在学习目标领域能力的同时保持历史领域的能力。在本文中，我们提出了一个用于 ABSA 的基于大型语言模型的持续学习（\texttt{LLM-CL}）模型。首先，我们设计了一个领域知识解耦模块，以学习一个领域不变的 adapter，并通过正交约束分别分离出领域变化的 adapter。然后，我们引入了一种领域知识预热策略，以对齐领域不变知识和领域变化知识之间的表示。在测试阶段，我们通过领域定位来索引相应的领域变化知识，从而不需要每个样本的领域 ID。在 19 个数据集上的广泛实验表明，我们的 \texttt{LLM-CL} 模型获得了新的 SOTA 性能。
引用
@article{arxiv.2405.05496,
title = {Boosting Large Language Models with Continual Learning for Aspect-based Sentiment Analysis},
author = {Xuanwen Ding and Jie Zhou and Liang Dou and Qin Chen and Yuanbin Wu and Chengcai Chen and Liang He},
journal= {arXiv preprint arXiv:2405.05496},
year = {2024}
}