通过反馈重构提升网络权值可分离性
机器学习
2020-12-10 v2 计算机视觉与模式识别
机器学习
摘要
本文提出了一种用于神经网络设计中权值可分离性的新评价指标与提升方法。与旨在鼓励隐特征类内紧致性与类间可分离性的通用视觉识别方法不同，我们专注于估计权值矩阵中列向量的线性独立性并改善权值向量的可分离性。为此，我们提出了一种基于矩阵半正交性与Frobenius距离的权值可分离性评价指标，以及显式鼓励权值矩阵中列向量间权值可分离性的反馈重构损失。在图像分类与人脸识别上的实验结果表明，通过最小化反馈重构损失来提升权值可分离性能够改善视觉识别性能，从而普遍提升各类视觉识别任务上的表现。
引用
@article{arxiv.1910.09024,
title = {Boosting Network Weight Separability via Feed-Backward Reconstruction},
author = {Jongmin Yu and Hyeontaek Oh},
journal= {arXiv preprint arXiv:1910.09024},
year = {2020}
}
备注
8 pages, 6 figures