基于知识蒸馏压缩 U-net 的研究
机器学习
2018-12-04 v1 机器学习
摘要
我们研究了使用知识蒸馏来压缩 U-net 架构。我们表明，虽然标准蒸馏不足以可靠地训练压缩后的 U-net，但在知识蒸馏中引入其他正则化方法（如批归一化与类别重加权）可显著改善训练过程。这使我们能够将 U-net 压缩超过 1000 倍，即压缩至其原始参数数量的 0.1%，而性能下降可忽略不计。
引用
@article{arxiv.1812.00249,
title = {On Compressing U-net Using Knowledge Distillation},
author = {Karttikeya Mangalam and Mathieu Salzamann},
journal= {arXiv preprint arXiv:1812.00249},
year = {2018}
}
备注
4 pages, 1 figure