面向社交媒体立场检测的思维链嵌入
计算与语言
2023-10-31 v1
摘要
社交媒体上的立场检测对大语言模型（LLM）而言具有挑战性，因为在线对话中涌现的俚语和口语化表达常包含高度隐式的立场标签。思维链（COT）提示近期被证明可提升立场检测任务性能，缓解部分此类问题。然而，COT提示在隐式立场识别上仍表现不佳。这一挑战源于许多样本在模型熟悉与各话题相关的俚语和演化知识前起初难以理解，而所有这些均需通过训练数据习得。在本研究中，我们引入 COT 嵌入来解决该问题，其通过将 COT 推理嵌入并整合进传统的基于 RoBERTa 的立场检测流程，提升了 COT 在立场检测任务上的表现。我们的分析表明：1）文本编码器可利用含轻微错误或幻觉的 COT 推理，否则这些会扭曲 COT 输出标签；2）当样本预测高度依赖领域特定模式时，文本编码器可忽略误导性的 COT 推理。我们的模型在多个自社交媒体收集的立场检测数据集上取得了 SOTA 性能。
引用
@article{arxiv.2310.19750,
title = {Chain-of-Thought Embeddings for Stance Detection on Social Media},
author = {Joseph Gatto and Omar Sharif and Sarah Masud Preum},
journal= {arXiv preprint arXiv:2310.19750},
year = {2023}
}
备注
Accepted at EMNLP-2023, 8 pages