神经网络权重是否对应各类别中心？
机器学习
2021-04-15 v1 计算机视觉与模式识别
摘要
近年来，将深度神经网络（DNNs）用作特征学习中的描述子颇受青睐。上述趋势聚焦于开发有效的损失函数，以同时确保不同类间的高特征判别性，以及给定类特征向量间的低测地距离。当代绝大多数工作将其表述建立于关于网络最后隐藏层特征空间的一个经验假设之上，声称某一类的权重向量代表了其在所研究空间中的几何中心。本文采用理论方法并指出上述假设并非普遍成立。如我们的实验研究所表明，这一事实引发了 DNN 训练过程的稳定性问题。进而，我们提出并分别从解析与经验上研究了一种满足上述假设的特定对称性，以解决已确立的收敛问题。
引用
@article{arxiv.2104.07004,
title = {Do Neural Network Weights account for Classes Centers?},
author = {Ioannis Kansizoglou and Loukas Bampis and Antonios Gasteratos},
journal= {arXiv preprint arXiv:2104.07004},
year = {2021}
}
备注
Index Terms: Discriminative feature learning, deep neural networks, symmetrical layer, geometric algebra