SALAD：通过结构感知与 LLM 生成的对比学习提升鲁棒性与泛化
计算与语言
2025-04-17 v1 人工智能
摘要
在各种自然语言处理(NLP)任务中，微调预训练语言模型(PLMs)常会导致虚假关联问题，尤其在处理外部分布数据时会影响性能。为此，我们提出SALAD(Structure Aware and LLM-driven Augmented Data)，一种新方法，通过生成结构感知的正样本和利用大语言模型(LLM)生成多样化反事实负样本来进行对比学习，从而增强模型的鲁棒性和泛化能力。我们采用基于标记的方式生成结构感知的正样本，并利用大语言模型生成具有多样句子模式的反事实负样本。通过对比学习，SALAD使模型能够专注于学习关键句子成分之间的结构关系，同时减少对虚假关联的依赖。我们在情感分类、性别歧视检测和自然语言推理三个任务上进行验证。实验结果表明，SALAD不仅提升了模型在不同环境下的鲁棒性和性能，还增强了对外部分布数据集和跨域情景的泛化能力。
引用
@article{arxiv.2504.12185,
title = {SALAD: Improving Robustness and Generalization through Contrastive Learning with Structure-Aware and LLM-Driven Augmented Data},
author = {Suyoung Bae and Hyojun Kim and YunSeok Choi and Jee-Hyong Lee},
journal= {arXiv preprint arXiv:2504.12185},
year = {2025}
}
备注
Accepted to NAACL 2025 main. 15 pages, 4 figures