超越学生网络：面向神经网络继承的非对称网络
机器学习
2026-02-12 v2
摘要
知识蒸馏（KD）已成为一种强大的模型压缩技术，使轻量级学生网络能够受益于冗余教师网络的性能。然而，固有的能力差距常常限制学生网络的性能。受预训练教师网络表达能力的启发，一个引人深思的研究问题随之产生：是否存在一种网络，既能继承教师的结构，又能最大化地继承其知识？此外，与受益于同一教师网络的学生网络相比，这种继承网络的性能如何？为了进一步探索这一问题，我们提出了InherNet，一种神经网络继承方法，该方法对教师网络的权重进行非对称低秩分解，并在不显著破坏架构的前提下重构出一个轻量级且表达能力强的网络。通过利用奇异值分解（SVD）进行初始化以确保主要知识的继承，InherNet有效地平衡了深度、宽度和压缩效率。在单模态和多模态任务上的实验结果表明，与参数规模相近的学生网络相比，InherNet取得了更高的性能。我们的发现为超越传统蒸馏的高效模型压缩的未来研究指明了一个有前景的方向。
引用
@article{arxiv.2602.09509,
title = {Beyond Student: An Asymmetric Network for Neural Network Inheritance},
author = {Yiyun Zhou and Jingwei Shi and Mingjing Xu and Zhonghua Jiang and Jingyuan Chen},
journal= {arXiv preprint arXiv:2602.09509},
year = {2026}
}