一种用于学习稳定二值表示的复合激活函数
机器学习
2026-05-13 v1 机器学习
摘要
激活函数通过塑造内部表示在神经网络中扮演核心角色。近年来，学习二值激活表示因其在计算和内存效率以及可解释性方面的优势而备受关注。然而，使用 Heaviside 激活函数训练神经网络仍然具有挑战性，因为其不可微性阻碍了标准的基于梯度的优化。在本文中，我们提出了重尾激活函数（Heavy Tailed Activation Function, HTAF），这是一种对 Heaviside 函数的平滑近似，能够通过基于梯度的优化实现稳定训练。我们将 HTAF 构造为 sigmoid 双曲正切复合函数，并从理论上证明它在零输入附近保持较大的梯度质量，同时在尾部区域表现出较慢的梯度衰减。我们展示了脉冲神经网络、二值神经网络和深度 Heaviside 神经网络可以使用 HTAF 通过基于梯度的优化进行稳定训练。最后，我们引入了隐式概念瓶颈模型（Implicit Concept Bottleneck Models, ICBMs），这是一种可解释的图像模型，利用 HTAF 来诱导离散特征表示。跨多种架构和图像数据集的广泛实验表明，ICBM 能够实现稳定的离散化，同时达到与标准模型相当或更优的预测性能。
引用
@article{arxiv.2605.11558,
title = {A Composite Activation Function for Learning Stable Binary Representations},
author = {Seokhun Park and Choeun Kim and Kwanho Lee and Sehyun Park and Insung Kong and Yongdai Kim},
journal= {arXiv preprint arXiv:2605.11558},
year = {2026}
}
备注
32 pages