SMoA：用于缓解多数据集偏置的稀疏适配器混合方法
计算与语言
2023-03-01 v1
摘要
近期研究揭示各类 NLP 任务中存在多种偏置，且对偏置的过度依赖导致模型泛化能力弱、对抗鲁棒性低。为缓解数据集偏置，已有工作提出大量针对特定偏置的去偏技术，它们在各自对抗集上表现良好，却无法缓解其他偏置。本文提出一种新的去偏方法 Sparse Mixture-of-Adapters (SMoA)，能高效且有效地缓解多种数据集偏置。在自然语言推理与释义识别任务上的实验表明，SMoA 优于全微调、适配器微调基线及先前强去偏方法。进一步分析表明 SMoA 具有可解释性：子适配器可从训练数据中捕获特定模式并专门处理特定偏置。
引用
@article{arxiv.2302.14413,
title = {SMoA: Sparse Mixture of Adapters to Mitigate Multiple Dataset Biases},
author = {Yanchen Liu and Jing Yan and Yan Chen and Jing Liu and Hua Wu},
journal= {arXiv preprint arXiv:2302.14413},
year = {2023}
}