基于注意力头剪枝的不确定性感知高效 Transformer 集成
机器学习
2026-04-22 v2 计算机视觉与模式识别
摘要
不确定性量化（UQ）是深度神经网络在安全关键场景中必不可少的能力。虽然深度集成等方法在 UQ 方面取得优异性能，但其高计算和内存开销制约了大型模型的可扩展性。我们引入 Hydra 集成，这是一种高效的基于 Transformer 的集成方法，通过剪枝注意力头以创建多样化成员，并通过新的带分组全连接层的多头注意力进行合并。这产生了一个模型参数紧凑，推理速度接近单个网络，同时在 UQ 性能上匹配或超越深度集成，且无需从头重新训练。我们还对剪枝进行深入分析，表明朴素方法可能损害校准，而 Hydra 集成保持了稳健的不确定性。在图像和文本分类任务上进行的实验显示，Hydra 集成 在深度集成之上 consistently 取得一致的提升。值得注意的是，在 ImageNet-1k 的零样本分类中，我们的方法甚至在不额外训练的情况下超越了当前最先进的方法。
引用
@article{arxiv.2510.18358,
title = {Ensembling Pruned Attention Heads For Uncertainty-Aware Efficient Transformers},
author = {Firas Gabetni and Giuseppe Curci and Andrea Pilzer and Subhankar Roy and Elisa Ricci and Gianni Franchi},
journal= {arXiv preprint arXiv:2510.18358},
year = {2026}
}
备注
ICLR 2026