标签自适应自理性化：事实核查与解释生成
计算与语言
2024-10-08 v1 人工智能
摘要
辅助记者完成任务的计算方法通常需要针对特定领域调整模型并生成解释。然而，大多数自动事实核查方法依赖三分类数据集，这并不真实地反映误information的信息。此外，事实核查的解释往往基于证据的文本摘要，未能解决主张与证据之间的关系。为此，我们将自理性化方法——通常用于自然语言推理 (NLI) 任务——扩展到事实核查。我们提出了标签自适应学习方法：首先，我们微调模型以学习带有标注标签的可信度预测（步骤-1 模型）。随后，我们使用相同数据和额外的标注解释再微调步骤-1 模型。我们的结果表明，在 PubHealth 和 AVeriTec 数据集上，我们的标签自适应方法在宏平均 F1 分数上比 GPT-4 模型提高了超过十个百分点。此外，为解决解释标注成本高的问题，我们从 GPT-4-turbo、GPT-3.5-turbo 和 Llama-3-8B 三个大型语言模型生成了 64 个合成解释，并对步骤-1 模型进行少数样本微调。少数样本合成解释微调后的模型性能与完全微调的自理性化模型相当，展示了利用合成数据进行低预算学习的潜力。我们的标签自适应自理性化方法为未来在不同标签方案下进行真实世界可解释事实核查提供了有前景的方向。
引用
@article{arxiv.2410.04002,
title = {Take It Easy: Label-Adaptive Self-Rationalization for Fact Verification and Explanation Generation},
author = {Jing Yang and Anderson Rocha},
journal= {arXiv preprint arXiv:2410.04002},
year = {2024}
}
备注
Paper accepted in the 16th IEEE INTERNATIONAL WORKSHOP ON INFORMATION FORENSICS AND SECURITY (WIFS) 2024