CausalAPM：面向自然语言理解去偏的通用字面量解耦框架
计算与语言
2023-05-05 v1 人工智能
摘要
数据集偏差，即过度依赖数据集特定的字面启发式，因其对 NLU 模型泛化能力的损害而受到越来越多的关注。现有工作侧重于在训练过程中通过降低问题数据的权重来消除数据集偏差，这在缓解偏差的同时导致了有效特征信息的遗漏。本文从因果推断的视角分析了数据集偏差的成因，并提出 CausalAPM，一种通用字面量解耦框架，从特征粒度上改善偏差问题。所提方法将字面信息与语义信息投影到独立的特征子空间，并限制字面信息在后续预测中的参与。在三个 NLP 基准（MNLI、FEVER 和 QQP）上的大量实验表明，我们提出的框架在保持 ID（分布内）性能的同时显著提升了 OOD（分布外）泛化性能。
引用
@article{arxiv.2305.02865,
title = {CausalAPM: Generalizable Literal Disentanglement for NLU Debiasing},
author = {Songyang Gao and Shihan Dou and Junjie Shan and Qi Zhang and Xuanjing Huang},
journal= {arXiv preprint arXiv:2305.02865},
year = {2023}
}
备注
10 pages, 4 figures