调查少样跨主题立场检测建模决策的鲁棒性：一项预先注册的研究

对于一个富有观点分布的新闻推荐系统，识别两篇新闻文章是否表达相同观点至关重要。确定“相同或不同”观点的一种方式是立场检测。在本文中，我们调查了针对少样立场检测的运作化选择的鲁棒性，特别关注在不同主题之间的立场建模。我们的实验测试了预先注册的假设。具体而言，我们比较两种立场任务定义（Pro/Con versus Same Side Stance），两种 LLM 架构（bi-encoding versus cross-encoding），以及添加 Natural Language Inference 知识，使用预训练的 RoBERTa 模型，训练样本数为 100 个来自 7 个不同立场检测数据集的示例。我们的结果表明，一些我们的假设和来自早前工作的主张可以得到确认，而另一些则给出更不一致的结果。Same Side Stance 定义对性能的影响在每个数据集之间都不同，并且受到其他建模选择的影响。我们发现训练样本中的主题数量与性能之间不存在关系。总体而言，cross-encoding 在性能上优于 bi-encoding，添加 NLI 训练到我们的模型中可获得显著的改进，但这些结果在所有数据集上都不一致。我们的结果表明，在旨为概念 \texttt{stance} 寻找稳健的建模选择时，必须包括多个数据集和系统性的建模实验。