一种简洁而有效的 Transformer 模型自去偏框架
计算与语言
2023-06-06 v1
摘要
当前基于 Transformer 的自然语言理解（NLU）模型严重依赖数据集偏差，却无法处理真实世界中的分布外（OOD）实例。已有许多方法被提出以应对此问题，但它们忽视了基于 Transformer 的 NLU 模型不同层中所学特征各异这一事实。本文中，我们首先进行初步研究得出两点结论：1）低层和高层句子表示在训练期间均编码常见的偏差特征；2）低层句子表示比高层编码的的无偏特征更少。基于这些结论，我们提出了一种简洁而有效的面向基于 Transformer 的 NLU 模型的自去偏框架。具体而言，我们首先在选定的低层上堆叠一个分类器。然后，我们引入一个残差连接，将低层句子表示馈送至顶层分类器。如此，顶层句子表示将被训练为忽略由低层句子表示编码的常见偏差特征，并聚焦于任务相关的无偏特征。推理时，我们移除残差连接并直接使用顶层句子表示进行预测。在 NLU 任务上的大量实验与深入分析表明，我们的框架优于若干竞争性基线，在所有 OOD 测试集上取得了新的 SOTA。
引用
@article{arxiv.2306.01907,
title = {A Simple yet Effective Self-Debiasing Framework for Transformer Models},
author = {Xiaoyue Wang and Lijie Wang and Xin Liu and Suhang Wu and Jinsong Su and Hua Wu},
journal= {arXiv preprint arXiv:2306.01907},
year = {2023}
}