通过Transformer输出的自适应池化实现鲁棒噪声衰减
机器学习
2025-06-12 v1 人工智能
摘要
我们研究了用于总结Transformer嵌入模型输出的池化方法的设计，主要受强化学习和视觉应用的启发。这项工作考虑的问题是：输入向量的一个子集包含下游任务所需的信息（信号），而其余部分是干扰项（噪声）。通过将池化框架化为以最小化信号损失为目标的向量量化，我们证明标准用于聚合Transformer输出的方法——AvgPool、MaxPool和ClsToken——在输入信噪比（SNR）波动时容易发生性能崩溃。随后我们证明，基于注意力的自适应池化方法可以在任意SNR下推导出的误差界内逼近信号最优向量量化器。我们的理论结果首先通过在专门设计用于隔离SNR问题的合成数据集上的监督实验得到验证，然后推广到标准关系推理、多智能体强化学习和含噪声观测的视觉基准任务，在这些任务中，采用自适应池化的Transformer在各任务上表现出优越的鲁棒性。
引用
@article{arxiv.2506.09215,
title = {Robust Noise Attenuation via Adaptive Pooling of Transformer Outputs},
author = {Greyson Brothers},
journal= {arXiv preprint arXiv:2506.09215},
year = {2025}
}
备注
[ICML 2025 Spotlight Poster] To be published in the Forty-Second International Conference on Machine Learning (ICML) Proceedings