先进基于 Transformer 的语言模型演进分析：意见挖掘上的实验
计算与语言
2023-08-08 v1 人工智能
机器学习
摘要
意见挖掘，又称情感分析，是自然语言处理（NLP）的一个子领域，侧重于识别和提取文本材料中的主观信息。这可包括判定文本的整体情感（如正面或负面），以及识别文本中表达的具体情绪或观点，涉及高级机器与深度学习技术的使用。近来，基于 Transformer 的语言模型凭借注意力机制与并行计算，使这一人类情感分析任务变得直观。这些优势使此类模型在语言任务上非常强大，不同于在顺序处理上耗费大量时间、在处理长文本时易失败的循环神经网络。本文的范围旨在研究前沿基于 Transformer 的语言模型在意见挖掘上的行为，并提供它们之间的高层比较以凸显其关键特性。此外，我们的比较研究为生产工程师指明了方向并铺平了道路，有助于其聚焦相应方法，也对研究人员有益，因为它为未来研究课题提供了指导。
引用
@article{arxiv.2308.03235,
title = {Analysis of the Evolution of Advanced Transformer-Based Language Models: Experiments on Opinion Mining},
author = {Nour Eddine Zekaoui and Siham Yousfi and Maryem Rhanoui and Mounia Mikram},
journal= {arXiv preprint arXiv:2308.03235},
year = {2023}
}