面向概率布尔逻辑的自适应 n 元激活函数
机器学习
2022-03-18 v1 人工智能
摘要
在学习中，平衡模型复杂度与观测数据所含信息量是核心挑战。为使复杂度高效的模型能够在高维中存在且可被发现，我们需要一种计算框架，将可信的复杂度概念与简单的参数表示相关联。此外，该框架必须允许通过基于梯度的优化逐步去除多余复杂度。我们的 n 元（即 n 元自变量）激活函数利用概率的 logit 表示来近似信念函数（概率布尔逻辑），从而填补了这一空白。正如布尔逻辑根据一组前件命题之间的关系确定后件断言的真值，概率公式在前件、真值表和后件均保留不确定性的情况下推广预测。我们的激活函数展示了在单层中使用匹配或更高元数的激活函数学习任意逻辑的能力，例如二元异或（p xor q）和三元条件析取（c ? p : q）。此外，我们使用一种基来表示信念表，该基将非零参数的数量与信念函数的有效元数直接关联，从而捕捉逻辑复杂度与高效参数表示之间的具体关系。这为通过诱导参数稀疏性来降低逻辑复杂度的优化方法开辟了途径。
引用
@article{arxiv.2203.08977,
title = {Adaptive n-ary Activation Functions for Probabilistic Boolean Logic},
author = {Jed A. Duersch and Thomas A. Catanach and Niladri Das},
journal= {arXiv preprint arXiv:2203.08977},
year = {2022}
}