实用元认知提示提升LLM在讽刺检测中的性能
计算与语言
2024-12-09 v1
摘要
讽刺检测是情感分析中的一个重要挑战，由于措辞的细微和情境依赖性。我们引入了实用元认知提示（Pragmatic Metacognitive Prompting，PMP），以提高大语言模型（LLM）在讽刺检测中的性能，该方法利用实践主义和反思原则，帮助LLM解释隐含意义、考虑情境线索并反思差异，以识别讽刺。使用如LLaMA-3-8B、GPT-4o和Claude 3.5 Sonnet等最先进的LLM，PMP在GPT-4o上在MUStARD和SemEval2018数据集上实现了最先进的性能。本研究表明，将实践主义推理和元认知策略整合到提示中，可显著提升LLM检测讽刺的能力，为情感分析的未来研究提供了有前景的方向。
引用
@article{arxiv.2412.04509,
title = {Pragmatic Metacognitive Prompting Improves LLM Performance on Sarcasm Detection},
author = {Joshua Lee and Wyatt Fong and Alexander Le and Sur Shah and Kevin Han and Kevin Zhu},
journal= {arXiv preprint arXiv:2412.04509},
year = {2024}
}
备注
Accepted at COLING 2024, CHum Workshop