LLM中池化机制的比较分析：情感分析视角
计算与语言
2025-02-04 v3 人工智能
摘要
大语言模型(LLM)通过在各种任务中实现最先进的性能，彻底改变了自然语言处理(NLP)的格局。在其中一些基于Transformer的模型(如BERT和GPT)中，池化层在将词级别嵌入聚合为句子级别表示方面发挥着关键作用。常见的池化机制(如Mean、Max和Weighted Sum)在这一聚合过程中起着关键作用。尽管这些方法广泛使用，但这些策略在不同的LLM架构中表现的比较性能仍鲜有探索。为填补这一空白，本文 investigates 了这些池化机制在两个主要LLM家族——BERT和GPT——在句子级情感分析情境中的效果。全面实验结果表明，每种池化机制在特定任务要求下都表现出独特的优势和不足。我们的发现凸显了针对特定应用需求选择池化方法的重要性，促使人们重新评估有关池化操作的常见假设。通过提供可操作见解，该研究为 LLM 基于模型的下游任务优化做出了贡献。
引用
@article{arxiv.2411.14654,
title = {Comparative Analysis of Pooling Mechanisms in LLMs: A Sentiment Analysis Perspective},
author = {Jinming Xing and Dongwen Luo and Chang Xue and Ruilin Xing},
journal= {arXiv preprint arXiv:2411.14654},
year = {2025}
}
备注
Accepted to ISMSI'25