旅游领域的情感分析：微调 BERT 还是拼接句子嵌入？
计算与语言
2023-12-14 v1 人工智能
摘要
毫无疑问，来自 Transformer 的双向编码器表示（BERT）是执行命名实体识别、问答或情感分析等自然语言处理任务的最强大技术，然而，传统技术的使用仍然是改进近期模型的主要潜力所在，特别是词语分词技术和嵌入，但也包括对神经网络架构的改进，这些架构现在是每个近期架构的核心。在本文中，我们对微调 BERT 与一种拼接两个嵌入以提升堆叠式双向长短期记忆-双向门控循环单元模型性能的方法进行了比较研究；这两种方法被应用于摩洛哥购物场所情感分析的语境中。对两种方法的最佳学习率进行了搜索，并就第二种方法对每种句子嵌入组合的最佳优化器进行了比较。
引用
@article{arxiv.2312.07797,
title = {Sentiment analysis in Tourism: Fine-tuning BERT or sentence embeddings concatenation?},
author = {Ibrahim Bouabdallaoui and Fatima Guerouate and Samya Bouhaddour and Chaimae Saadi and Mohammed Sbihi},
journal= {arXiv preprint arXiv:2312.07797},
year = {2023}
}
备注
Accepted manuscript at ICMECE 2022 Conference (Barcelona, Spain)