用于鲁棒问答的自省式蒸馏

问答（QA）模型众所周知会利用数据偏差，例如视觉问答中的语言先验和阅读理解中的位次偏差。近期的去偏方法在分布外（OOD）泛化性上表现良好，却以相当大的分布内（ID）性能牺牲为代价。因此，它们仅适用于测试分布事先已知的领域。本文提出一种称为自省式蒸馏（IntroD）的新型去偏方法，以兼顾 QA 的 OOD 与 ID 两方面。我们的关键技术贡献是通过自省一个训练样本是契合事实的 ID 世界还是反事实的 OOD 世界，来融合 OOD 与 ID 的归纳偏置。在视觉问答数据集 VQA v2、VQA-CP 和阅读理解数据集 SQuAD 上的实验表明，与其他去偏方法相比，我们提出的 IntroD 保持了有竞争力的 OOD 性能，同时与非去偏方法相比，ID 性能牺牲很小甚至更优。