探索神经网络的线性特征解耦
机器学习
2022-03-23 v1 人工智能
摘要
非线性激活函数（如 Sigmoid、ReLU 和 Tanh）在神经网络（NNs）中取得了巨大成功。由于样本复杂的非线性特征，这些激活函数的目标是将样本从其原始特征空间投影到线性可分特征空间。这一现象激发了我们的兴趣：在当前典型的神经网络中，是否所有特征都需要被所有非线性函数转换，即是否存在一部分特征在中间层到达线性可分特征空间后，不需要进一步的非线性变换，而是仅需仿射变换。为了验证上述假设，本文探索了神经网络的线性特征解耦问题。具体而言，我们设计了一个可学习的掩码模块来区分线性和非线性特征。通过我们设计的实验，我们发现某些特征比其他特征更早达到线性可分空间，并且可以部分地从神经网络中分离出来。所探索的方法还提供了一种几乎不影响原始模型性能的简便可行的剪枝策略。我们在四个数据集上进行了实验，并展示了有前景的结果。
引用
@article{arxiv.2203.11700,
title = {Exploring Linear Feature Disentanglement For Neural Networks},
author = {Tiantian He and Zhibin Li and Yongshun Gong and Yazhou Yao and Xiushan Nie and Yilong Yin},
journal= {arXiv preprint arXiv:2203.11700},
year = {2022}
}