面向自动化事实核查的零样本和少样本学习：基于遵循指令的大型语言模型进行主张匹配
计算与语言
2025-03-04 v2 人工智能
摘要
主张匹配 (CM) 任务可通过将可以用相同事实核查解决的主张组合在一起，从而从事自动化事实核查流程中获益。在本工作中，我们首次探索了零样本和少样本学习方法。我们将 CM 视为二元分类任务，并实验性地测试一组遵循指令的大型语言模型 (GPT-3.5-turbo、Gemini-1.5-flash、Mistral-7B-Instruct 和 Llama-3-8B-Instruct)，调查不同的提示模板。我们引入了一个新的 CM 数据集，ClaimMatch，将在接受后公开发布。我们将 LLMs 在 CM 任务中测试出来，发现可以通过利用诸如自然语言推理或语义相似检测等更成熟且相似的任务来解决该问题。我们还提出了一个用于 CM 的管道，我们在不同长度的文本上进行评估。
关键词
引用
@article{arxiv.2501.10860,
title = {Zero-shot and Few-shot Learning with Instruction-following LLMs for Claim Matching in Automated Fact-checking},
author = {Dina Pisarevskaya and Arkaitz Zubiaga},
journal= {arXiv preprint arXiv:2501.10860},
year = {2025}
}
备注
Published at the 31st International Conference on Computational Linguistics (COLING 2025). Compared to the conference version of the paper, the dataset link is added here & 2 minor typos fixed