挖掘可解释性与泛化能力：基于自指令的事实验证
计算与语言
2024-05-24 v2
摘要
基于商业LLM的事实核查已成为主流。尽管这些方法具有较高的可解释性，但其准确率不及传统微调方法，且数据安全也是一个重要问题。在本文中，我们提出了一种基于自指令的微调方法用于事实核查，以平衡准确率与可解释性。我们的方法包括数据增强与改进的DPO微调。前者首先指示模型基于声明-证据对及标签生成正负解释，然后根据我们定制的难度标准对数据集进行采样。后者利用我们提出的改进DPO，使用生成的样本对模型进行微调。我们对最小规模的LLaMA-7B模型进行微调，并在具有挑战性的事实核查数据集FEVEROUS和HOVER上进行评估，采用四种微调方法和三种少样本学习方法进行对比。实验表明，我们的方法不仅保持了与传统微调方法相当甚至超越的准确率，还能生成流畅的解释文本。此外，它还展现出高度的泛化性能。据实验所示，我们的方法首次将自监督学习用于事实核查，并在微调LLM时创新性地结合了对比学习与改进的DPO。
引用
@article{arxiv.2405.12579,
title = {Mining the Explainability and Generalization: Fact Verification Based on Self-Instruction},
author = {Guangyao Lu and Yulin Liu},
journal= {arXiv preprint arXiv:2405.12579},
year = {2024}
}