相对反事实对比学习：缓解立场检测中的预训练立场偏差
机器学习
2024-05-21 v1 人工智能
统计方法学
摘要
立场检测对评论与目标之间的立场关系（即支持、反对或中立）进行分类。预训练语言模型（PLM）被广泛用于挖掘立场关系，通过预训练知识提升立场检测性能。然而，PLM也将关于立场的“不良”预训练知识嵌入到提取的立场关系语义中，导致预训练立场偏差。由于预训练立场偏差的可量化性较弱，对其进行测量并非易事。本文提出相对反事实对比学习（RCCL），其中预训练立场偏差被作为相对立场偏差而非绝对立场偏差来缓解，以克服测量偏差的困难。首先，我们提出一个新的结构因果模型，用于描述上下文、PLM和立场关系之间的复杂关系，以定位预训练立场偏差。然后，基于掩码语言模型预测，我们提出一种目标感知的相对立场样本生成方法以获得相对偏差。最后，我们使用基于反事实理论的对比学习来缓解预训练立场偏差并保留上下文立场关系。实验表明，所提方法优于立场检测和去偏差基线。
引用
@article{arxiv.2405.10991,
title = {Relative Counterfactual Contrastive Learning for Mitigating Pretrained Stance Bias in Stance Detection},
author = {Jiarui Zhang and Shaojuan Wu and Xiaowang Zhang and Zhiyong Feng},
journal= {arXiv preprint arXiv:2405.10991},
year = {2024}
}