如何训练你的事实验证器：基于多模态开放模型的知识迁移
计算与语言
2024-07-02 v1
摘要
随着虚假信息在新闻和社交媒体上的不断涌入，迫切需要能够提供有效实时验证新闻声明的系统。大型语言或多模态模型基于的验证被提出用于扩展线上执法机制，以缓解虚假和有害内容的传播。虽然这些方法可能减少对人类事实核查员的负担，但由于基础模型训练数据可能过时，这类努力可能受到限制。本文通过对利用现有 intra- 和 inter- 域基准或来自大型语言模型(LLM)生成的解释进行知识迁移的初始研究，测试了在不通过持续更新来提高基础模型性能的限制。我们在 12 个公开事实核查和误information 检测基准上进行评估，以及两个与内容 moderation 相关的其他任务——毒性和立场检测。我们的结果表明，在两个最近的多模态事实核查基准（Mocheg 和 Fakeddit）上，知识迁移策略可使 Fakeddit 性能提升最高可达 1.7%，Mocheg 性能提升最高可达 2.9%。
关键词
引用
@article{arxiv.2407.00369,
title = {How to Train Your Fact Verifier: Knowledge Transfer with Multimodal Open Models},
author = {Jaeyoung Lee and Ximing Lu and Jack Hessel and Faeze Brahman and Youngjae Yu and Yonatan Bisk and Yejin Choi and Saadia Gabriel},
journal= {arXiv preprint arXiv:2407.00369},
year = {2024}
}