基于OpenAI GPT模型的讽刺检测研究
计算与语言
2025-01-28 v1 机器学习
摘要
讽刺是一种反讽形式，要求读者或听者结合语境和社会线索来解读其真实意图。由于其社会复杂性和矛盾本质，机器学习分类模型长期以来难以检测讽刺。本文探讨了生成式预训练Transformer（GPT）模型（包括GPT-3、InstructGPT、GPT-3.5和GPT-4）在自然语言讽刺检测中的应用。研究测试了不同规模和版本的微调模型与零样本模型。这些GPT模型在流行的自标注Reddit语料库（SARC 2.0）讽刺数据集的政治与平衡（pol-bal）部分上进行了测试。在微调情况下，最大的微调GPT-3模型取得了0.81的准确率和分数，优于先前模型。在零样本情况下，一个GPT-4模型取得了0.70的准确率和0.75的分数。其他模型得分较低。此外，模型性能可能随每次版本发布而提升或下降，这凸显了在每次发布后重新评估性能的必要性。
引用
@article{arxiv.2312.04642,
title = {On Sarcasm Detection with OpenAI GPT-based Models},
author = {Montgomery Gole and Williams-Paul Nwadiugwu and Andriy Miranskyy},
journal= {arXiv preprint arXiv:2312.04642},
year = {2025}
}