ESS-ReduNet：基于贝叶斯推断实现 ReduNet 子空间可分性的动态扩张
机器学习
2024-11-28 v1
摘要
ReduNet 是一种深度神经网络模型，利用最大编码率 reduction 原理将原始数据样本转换为低维线性判别特征表示。与传统深度学习框架不同，ReduNet 以层为单位显式构建其参数，其中每层的参数基于来自前一层转换的特征得以推导。ReduNet 不直接使用标签，而是使用每个类别所跨越子空间与数据样本之间的相似性进行特征更新。这可能导致特征更新方向错误，损害网络参数正确构建，降低收敛速度。为此，本文基于网络参数的几何解释，提出ESS-ReduNet通过动态控制样本整体跨越空间的扩张来增强每个类别子空间的可分性。同时，融合标签知识进行贝叶斯推断，以鼓励子空间解耦。最后，以条件数评估稳定性作为训练中止的辅助准则。在 ESR、HAR、Covertype 和 Gas 数据集上实验表明，ESS-ReduNet 在收敛速度上比 ReduNet 超过了 10 倍。值得注意的是，ESS-ReduNet 转换的特征在 ESR 数据集上实现了 47% 的 SVM 分类准确性提升。
引用
@article{arxiv.2411.17961,
title = {ESS-ReduNet: Enhancing Subspace Separability of ReduNet via Dynamic Expansion with Bayesian Inference},
author = {Xiaojie Yu and Haibo Zhang and Lizhi Peng and Fengyang Sun and Jeremiah Deng},
journal= {arXiv preprint arXiv:2411.17961},
year = {2024}
}