面向异构神经网络模型融合的跨层对齐
机器学习
2023-02-21 v3 计算机视觉与模式识别
摘要
通过最优传输进行的逐层模型融合(称为OTFusion)采用软神经元关联来统一不同的预训练网络以节省计算资源。尽管取得了成功，OTFusion要求输入网络具有相同的层数。为解决此问题，我们提出了一种新颖的模型融合框架，称为CLAFusion，通过跨层对齐来融合具有不同层数(我们称之为异构神经网络)的神经网络。跨层对齐问题是一个不平衡分配问题，可使用动态规划高效求解。基于跨层对齐，我们的框架在应用逐层模型融合之前平衡神经网络的层数。我们的实验表明，经过额外的微调过程，CLAFusion提高了残差网络在CIFAR10、CIFAR100和Tiny-ImageNet数据集上的准确率。此外，我们探索了其在应用于师生设置时用于模型压缩和知识蒸馏的实际用途。
引用
@article{arxiv.2110.15538,
title = {On Cross-Layer Alignment for Model Fusion of Heterogeneous Neural Networks},
author = {Dang Nguyen and Trang Nguyen and Khai Nguyen and Dinh Phung and Hung Bui and Nhat Ho},
journal= {arXiv preprint arXiv:2110.15538},
year = {2023}
}
备注
Accepted to ICASSP 2023, 30 pages, 4 figures, 21 tables