2025年4月ChatGPT与DeepSeek基准评测：一种融合词典与深度学习的新型双视角情感分析
计算与语言
2025-09-25 v1
摘要
本研究提出了一种新颖的双视角方法，用于分析Google Play商店中ChatGPT和DeepSeek的用户评论，该方法整合了基于词典的情感分析（TextBlob）与深度学习分类模型，包括卷积神经网络（CNN）和双向长短期记忆网络（Bi-LSTM）。与以往孤立地关注基于词典的策略或预测性深度学习模型的研究不同，本研究对基于大型语言模型（LLM）的应用程序的用户满意度进行了广泛调查。我们收集了一个包含4,000条真实用户评论的数据集，并对其进行了仔细的预处理和过采样以达到类别平衡。包含1,700条评论的平衡测试集被用于模型测试。实验结果显示，ChatGPT获得的正面情感显著多于DeepSeek。此外，基于深度学习的分类表现出优于词典分析的性能，其中CNN超越了Bi-LSTM，达到了96.41%的准确率，对负面评论实现了近乎完美的分类，并在中性和正面情感上取得了高F1分数。这项研究为衡量基于LLM的应用程序中的情感设立了新的方法论标准，并为寻求改进以用户为中心的AI系统设计的开发者和研究人员提供了实用见解。
引用
@article{arxiv.2509.19346,
title = {Benchmarking ChatGPT and DeepSeek in April 2025: A Novel Dual Perspective Sentiment Analysis Using Lexicon-Based and Deep Learning Approaches},
author = {Maryam Mahdi Alhusseini and Mohammad-Reza Feizi-Derakhshi},
journal= {arXiv preprint arXiv:2509.19346},
year = {2025}
}
备注
17 pages, 21 figures