VAULT：基于 LLM 驱动的检索增强生成用于 NLI 的警惕性对抗更新
机器学习
2025-08-05 v1 人工智能
摘要
我们介绍 VAULT，一个完全自动化的对抗检索增强生成管道，通过三个阶段系统性地揭示并弥补 NLI 模型中的弱点：检索、对抗生成和迭代再训练。首先，我们通过对 premise 进行语义相似度（BGE）和词典相似度（BM25）嵌入，进行平衡的 few-shot 检索。接着，将这些上下文组装成 LLM 提示，以生成对抗性假设，然后通过 LLM 集成进行标签保真度验证。最后，将验证后的对抗样本以递增的混合比例注入训练集，逐步加固一个零样本 RoBERTa-base 模型。在标准基准上，VAULT 将 RoBERTa-base 的准确率从 88.48% 提升至 92.60%（SNLI 提升 +4.12%），从 75.04% 提升至 80.95%（ANLI 提升 +5.91%），从 54.67% 提升至 71.99%（MultiNLI 提升 +17.32%）。它在数据集上也 consistently 超过了先前的 in-context 对抗方法，提升幅度最高可达 2.0%。通过自动化大规模高质量对抗数据 curated，VAULT 实现了 NLI 推理任务中快速、无需人工的鲁棒性改进。
引用
@article{arxiv.2508.00965,
title = {VAULT: Vigilant Adversarial Updates via LLM-Driven Retrieval-Augmented Generation for NLI},
author = {Roie Kazoom and Ofir Cohen and Rami Puzis and Asaf Shabtai and Ofer Hadar},
journal= {arXiv preprint arXiv:2508.00965},
year = {2025}
}