通过 Lipschitz 正则化缓解 Transformer 的过度自信
机器学习
2023-07-19 v2 计算机视觉与模式识别
摘要
尽管 Transformer 在许多计算机视觉任务中取得了有前景的结果，它们往往对预测过度自信，因为标准点积自注意力（DPSA）几乎无法为无界输入域保持距离。本工作中，我们通过提出一种新颖的 Lipschitz 正则化 Transformer（LRFormer）填补了这一空白。具体而言，我们给出了一个 Banach 空间内距离的新相似度函数以确保 Lipschitz 性质，并通过收缩 Lipschitz 界对该项进行正则化。所提方法附有理论保证的分析，为其有效性与可靠性提供了严格基础。在标准视觉基准上开展的广泛实验表明，我们的方法在预测、校准与不确定性估计上优于最先进的单前向传播方法。
引用
@article{arxiv.2306.06849,
title = {Mitigating Transformer Overconfidence via Lipschitz Regularization},
author = {Wenqian Ye and Yunsheng Ma and Xu Cao and Kun Tang},
journal= {arXiv preprint arXiv:2306.06849},
year = {2023}
}
备注
Accepted by UAI 2023. (https://proceedings.mlr.press/v216/ye23a.html)