通过带符号收缩二次激活函数保留双线性权重谱
机器学习
2025-09-03 v1 人工智能
摘要
理解机器学习模型的内部工作对于确保其可靠性和鲁棒性至关重要。虽然许多解释性技术专注于激活驱动的分析，但能够从神经网络权重直接派生有意义特征将提供更大的保证和更高的计算效率。现有的通过权重分析模型特征的技术存在诸多缺点，如性能下降和数据效率低下。在本文中，我们引入了带符号收缩二次激活函数（SQS），旨在使Gated Linear Units（GLUs）能够在无需这些缺点的情况下学习可解释特征。我们的实验结果表明，SQS在实现与最先进激活函数竞争的性能方面，同时实现了基于权重的解释性。
引用
@article{arxiv.2509.01874,
title = {Preserving Bilinear Weight Spectra with a Signed and Shrunk Quadratic Activation Function},
author = {Jason Abohwo and Thomas Mosen},
journal= {arXiv preprint arXiv:2509.01874},
year = {2025}
}