面向推理阶段的训练良好深度神经网络的统一与合并
计算机视觉与模式识别
2018-05-15 v1
摘要
我们提出了一种用于推理阶段合并卷积神经网络的新方法。给定两个可能具有不同架构并处理不同任务的训练良好网络，我们的方法对齐原始网络的层，并通过共享权重的代表性码将它们合并为一个统一模型。共享权重被进一步重训练以微调合并模型的性能。所提出的方法有效地产生了一个紧凑的模型，可以在资源受限的设备上同时运行原始任务。由于它保留了通用架构并利用了训练良好网络的共用权重，可以减少大量的训练开销，从而缩短系统开发时间。实验结果展示了令人满意的性能，并验证了该方法的有效性。
引用
@article{arxiv.1805.04980,
title = {Unifying and Merging Well-trained Deep Neural Networks for Inference Stage},
author = {Yi-Min Chou and Yi-Ming Chan and Jia-Hong Lee and Chih-Yi Chiu and Chu-Song Chen},
journal= {arXiv preprint arXiv:1805.04980},
year = {2018}
}
备注
To appear in the 27th International Joint Conference on Artificial Intelligence and the 23rd European Conference on Artificial Intelligence, 2018. (IJCAI-ECAI 2018)