大型语言模型在基于方面情感分析中的综合评估
计算与语言
2024-12-04 v1 人工智能
摘要
最近，大型语言模型 (LLM) 在自然语言处理领域受到日益关注，凭借强大的推理和生成能力，正在革新诸多下游任务。例如，In-Context Learning (ICL) 引入了无需微调的范式，使出色的 LLM 能够通过类比学习在无需任何微调的情况下执行下游任务。此外，在存在大量训练数据的微调依赖范式中，参数高效微调 (PEFT) 作为高性价比的方法，使 LLM 能够实现与完整微调相当的优异性能。然而，这些由 LLM 采用的精妙技术在 ABSA 领域尚未得到充分利用。以往的工作仅通过随机挑选的输入输出对在 ICL 中进行评估，导致评估不完整且浅尝辄止。本文我们聚焦于 LLM 在 ABSA 领域的全面评估，涉及 13 个数据集、8 个 ABSA 子任务和 6 个 LLM。具体而言，我们设计了统一的任务公式，以统一“多个 LLM 用于多个 ABSA 子任务在多个范式中”。对于微调依赖范式，我们使用基于指令的多任务学习高效微调 LLM。对于微调免费范式，我们提出 3 种演示选择策略来激发 LLM 的 few-shot 能力。我们的大量实验表明，LLM 在微调依赖范式中实现了相较于微调后的小型语言模型 (SLM) 的全新状态-of-the-art 性能。更重要的是，在 SLM 无效的微调免费范式中，LLM 虽然进行 ICL 仍展现出惊人的潜力，甚至在某些 ABSA 子任务上与微调后的 SLM 竞争。
引用
@article{arxiv.2412.02279,
title = {A Comprehensive Evaluation of Large Language Models on Aspect-Based Sentiment Analysis},
author = {Changzhi Zhou and Dandan Song and Yuhang Tian and Zhijing Wu and Hao Wang and Xinyu Zhang and Jun Yang and Ziyi Yang and Shuhao Zhang},
journal= {arXiv preprint arXiv:2412.02279},
year = {2024}
}