LogAvgExp提供了一种有原则且高性能的全局池化算子
机器学习
2021-11-03 v1 人工智能
计算机视觉与模式识别
摘要
我们旨在通过应用一个理论上更合理的算子来改进神经网络中的池化操作。我们证明LogSumExp为logits提供了一个自然的OR算子。当对池化算子内的元素数量进行校正后，它变为 。通过引入一个单一的温度参数，LogAvgExp可以从其操作数的最大值平滑过渡到平均值（分别在极限情况 和 下实现）。我们在多种用于计算机视觉的深度神经网络架构中，对带有和不带有可学习温度参数的LogAvgExp进行了实验测试。
引用
@article{arxiv.2111.01742,
title = {LogAvgExp Provides a Principled and Performant Global Pooling Operator},
author = {Scott C. Lowe and Thomas Trappenberg and Sageev Oore},
journal= {arXiv preprint arXiv:2111.01742},
year = {2021}
}