从最优传输视角重新审视全局池化
机器学习
2022-09-30 v2
摘要
全局池化是许多机器学习模型与任务中最重要的操作之一，但其实现在实践中常凭经验。本研究中，我们通过最优传输的视角发展了一种新颖而坚实的全局池化框架。我们证明大多数现有全局池化方法等价于求解非平衡最优传输（UOT）问题的某些特例。使UOT问题的参数可学习，我们将各种全局池化方法统一于同一框架中，并相应提出了一种称为UOT池化（UOTP）的广义全局池化层用于神经网络。除基于经典Sinkhorn缩放算法实现UOTP层外，我们设计了一种基于Bregman ADMM算法的新模型架构，其具有更好的数值稳定性且能更有效地复现现有池化层。我们在多示例学习、图分类和图像分类等多个应用场景中测试了UOTP层。我们的UOTP层既可模仿传统全局池化层，也可学习某些带来更优性能的新池化机制。
引用
@article{arxiv.2201.09191,
title = {Revisiting Global Pooling through the Lens of Optimal Transport},
author = {Minjie Cheng and Hongteng Xu},
journal= {arXiv preprint arXiv:2201.09191},
year = {2022}
}