逻辑激活函数:概率布尔算子的对数几率空间等价形式
机器学习
2022-11-30 v2 人工智能
计算机视觉与模式识别
摘要
激活函数的选择及其动机是神经网络社区中长期存在的问题。人工神经网络中的神经元表示通常被理解为对数几率(logits),代表刺激中特征出现的对数赔率得分。我们推导了独立于概率的概率布尔逻辑门 AND、OR 和 XNOR 在对数几率空间中的等价算子。此类理论对于形式化真实神经元中更复杂的树突运算十分重要,且这些运算可作为神经网络中的激活函数使用,将概率布尔逻辑引入为神经网络的核心操作。由于这些函数涉及多次指数与对数运算,计算代价高昂,不宜直接用于神经网络。为此,我们构造了高效近似,命名为 (针对独立对数几率的 AND 算子近似)、 和 ,它们仅使用比较与加法运算,具有良好表现的梯度,并可作为神经网络中的激活函数部署。如同 MaxOut, 与 是 ReLU 在二维上的推广。虽然我们的首要目标是将树突计算形式化于对数几率空间概率布尔框架中,我们仍将这些新激活函数单独或组合部署,以在图像分类、迁移学习、抽象推理和组合零样本学习等多种任务上展示其有效性。
引用
@article{arxiv.2110.11940,
title = {Logical Activation Functions: Logit-space equivalents of Probabilistic Boolean Operators},
author = {Scott C. Lowe and Robert Earle and Jason d'Eon and Thomas Trappenberg and Sageev Oore},
journal= {arXiv preprint arXiv:2110.11940},
year = {2022}
}