多层感知机学习中的特征多样性陷阱
机器学习
2022-06-02 v4 人工智能
摘要
本文关注多层感知机(multi-layer perceptrons, MLPs)学习中的一种典型两阶段现象,旨在解释第一阶段特征多样性下降的原因。具体而言,人们发现,在 MLPs 的训练中,训练损失直到第二阶段才显著下降。为此,我们进一步探究了第一阶段不同样本间特征多样性持续下降、从而损害 MLPs 优化的原因。我们从 MLPs 的学习动力学角度解释了该现象。此外,我们从理论上解释了四种典型操作能缓解特征多样性下降的原因。
引用
@article{arxiv.2112.00980,
title = {Trap of Feature Diversity in the Learning of MLPs},
author = {Dongrui Liu and Shaobo Wang and Jie Ren and Kangrui Wang and Sheng Yin and Huiqi Deng and Quanshi Zhang},
journal= {arXiv preprint arXiv:2112.00980},
year = {2022}
}