可泛化的讽刺检测就在眼前，当然！
计算与语言
2024-04-11 v2
摘要
我们通过检查讽刺检测模型在四个包含不同讽刺特征的数据集上微调时的行为，测试了其鲁棒性：标签来源（作者 vs. 第三方）、领域（社交媒体/在线 vs. 离线对话/对话）、风格（攻击性 vs. 幽默嘲讽）。我们测试了它们在相同数据集（数据集内）和跨不同数据集（跨数据集）上的预测性能。对于数据集内预测，使用第三方标签微调的模型始终比使用作者标签的模型表现更好。对于跨数据集预测，大多数模型未能很好地泛化到其他数据集，这意味着一种类型的数据集无法代表所有不同风格和领域的讽刺。与现有数据集相比，在我们工作中发布的新数据集上微调的模型显示出对其他数据集最高的泛化能力。通过对数据集的手动检查和事后分析，我们将泛化困难归因于讽刺实际上具有不同的领域和风格。我们认为未来的讽刺研究应考虑讽刺的广泛范围。
引用
@article{arxiv.2404.06357,
title = {Generalizable Sarcasm Detection Is Just Around The Corner, Of Course!},
author = {Hyewon Jang and Diego Frassinelli},
journal= {arXiv preprint arXiv:2404.06357},
year = {2024}
}