使用 FlanT5-XXL 基准测试零样本立场检测：来自训练数据、提示和解码策略对其近 SOTA 性能的见解
计算与语言
2024-03-04 v1 人工智能
机器学习
摘要
我们研究了基于大语言模型 (LLM) 的零样本立场检测在推文上的性能。使用指令微调的开源 LLM FlanT5-XXL，结合 SemEval 2016 任务 6A、6B 和 P-Stance 数据集，我们研究了在不同提示和解码策略下的性能及其变化，以及模型的潜在偏见。我们表明，零样本方法可以匹配或超越包括微调模型在内的最先进 (SOTA) 基准。我们提供了关于其性能的各种见解，包括对指令和提示的敏感性、解码策略、提示的困惑度，以及提示中存在的否定和对立。最后，我们确保 LLM 未在测试数据集上进行过训练，并识别出一种积极性偏见，这可能部分解释了不同解码策略之间的性能差异。
引用
@article{arxiv.2403.00236,
title = {Benchmarking zero-shot stance detection with FlanT5-XXL: Insights from training data, prompting, and decoding strategies into its near-SoTA performance},
author = {Rachith Aiyappa and Shruthi Senthilmani and Jisun An and Haewoon Kwak and Yong-Yeol Ahn},
journal= {arXiv preprint arXiv:2403.00236},
year = {2024}
}