面向鲁棒问答的自适应宽松优化
计算与语言
2023-11-01 v3 计算机视觉与模式识别
摘要
问答方法以利用数据偏置而著称，例如视觉问答中的语言先验和机器阅读理解（抽取式问答）中的位置偏置。当前的去偏置方法往往以显著的分布内性能损失为代价来实现良好的分布外泛化能力，而非去偏置方法则牺牲大量分布外性能以换取高分布内性能。因此，它们难以应对复杂多变的真实世界场景。本文提出一种简单而有效的具有自适应宽松优化的新型损失函数，力求在问答任务中两全其美。我们的主要技术贡献是根据小批量训练数据上先前与当前优化状态之比自适应地降低损失。这种宽松优化可用于防止非去偏置方法过度学习数据偏置，同时使去偏置方法保持轻微偏置学习。在视觉问答数据集（包括 VQA v2、VQA-CP v1、VQA-CP v2、GQA-OOD）和抽取式问答数据集 SQuAD 上的实验表明，我们的方法使问答方法在大多数情况下获得了最先进的分布内与分布外性能。源代码已公开于 \url{https://github.com/reml-group/ALO}。
引用
@article{arxiv.2305.03971,
title = {Adaptive loose optimization for robust question answering},
author = {Jie Ma and Pinghui Wang and Zewei Wang and Dechen Kong and Min Hu and Ting Han and Jun Liu},
journal= {arXiv preprint arXiv:2305.03971},
year = {2023}
}
备注
13 pages,8 figures