面向广义全局池化操作的正则化最优传输层

全局池化是许多机器学习模型与任务中最重要的操作之一，用于信息融合与结构化数据（如集合与图）表示。然而，缺乏坚实数学基础，其实用实现常依赖经验机制，从而导致次优甚至不令人满意的性能。本工作中，我们通过最优传输的视角开发了新颖且广义的全局池化框架。所提框架可从期望最大化角度解释。本质上，其旨在学习样本索引与特征维度间的最优传输，使相应池化操作最大化输入数据的条件期望。我们证明大多数现有池化方法等价于求解具有不同特化的正则化最优传输（ROT）问题，且更复杂的池化操作可通过分层求解多个ROT问题实现。使ROT问题参数可学习，我们开发了一系列正则化最优传输池化（ROTP）层。我们将ROTP层实现为一种新型深度隐式层。其模型架构对应于不同优化算法。我们在若干代表性集合级机器学习场景中测试了ROTP层，包括多示例学习（MIL）、图分类、图集合表示与图像分类。实验结果表明，应用我们的ROTP层可降低全局池化设计与选择的难度——我们的ROTP层既可模仿某些现有全局池化方法，也可导出一些更贴合数据的新池化层。代码见\url{https://github.com/SDS-Lab/ROT-Pooling}。