ELECTRA 与 GPT-4o：情感分析中的高性价比合作伙伴
计算与语言
2025-05-06 v2 人工智能
摘要
双向变换器在情感分析方面表现出色，大型语言模型（LLM）是有效的零样本学习者。它们是否可以更好的组合在一起工作？本文探讨了ELECTRA与GPT-4o在三类情感分类中的协作方法。我们使用来自Stanford情感树库（SST）和DynaSent的评论混合数据，对四个模型（ELECTRA Base/Large, GPT-4o/4o-mini）进行微调（FT）。我们提供给GPT-4o的ELECTRA输入包括：预测标签、概率和检索到的示例。将ELECTRA Base FT的预测结果与GPT-4o-mini共享，可显著提升性能（82.50宏平均F1 vs. 79.14的ELECTRA Base FT，79.41的GPT-4o-mini），且每获得1分F1提升的成本最低（$0.12/F1点）。然而，当GPT模型被微调后，包括预测结果反而会降低性能。GPT-4o FT-M是顶级表现者（86.99），GPT-4o-mini FT紧随其后（86.70），成本更低（$0.38 vs. $1.59/F1点）。我们的结果表明，将来自微调编码器的预测结果augment到提示中是提高性能的有效方法，微调的GPT-4o-mini在成本降低76%的情况下几乎与GPT-4o FT性能相当。两种方法都为资源有限的项目提供了实惠的选择。
引用
@article{arxiv.2501.00062,
title = {ELECTRA and GPT-4o: Cost-Effective Partners for Sentiment Analysis},
author = {James P. Beno},
journal= {arXiv preprint arXiv:2501.00062},
year = {2025}
}
备注
19 pages, 4 figures. Source code and data available at https://github.com/jbeno/sentiment