torchdistill：一个模块化、配置驱动的蒸馏框架
机器学习
2021-11-17 v2 计算机视觉与模式识别
机器学习
摘要
尽管知识蒸馏（迁移）一直吸引着研究界的关注，但该领域近期的发展加剧了对可复现研究以及高度通用框架的需求，以降低此类高质量、可复现深度学习研究的门槛。一些研究者自愿发布了他们知识蒸馏研究中使用的框架，以帮助其他感兴趣的研究者复现其原始工作。然而，此类框架通常既不够通用也缺乏维护，因此研究者仍需编写大量代码来重构/基于这些框架以引入新方法、模型、数据集和设计实验。在本文中，我们展示了我们开发的基于 PyTorch 并专用于知识蒸馏研究的开源框架。该框架旨在使用户能够通过声明式 PyYAML 配置文件设计实验，并帮助研究者完成近期提出的 ML 代码完整性清单。利用所开发的框架，我们展示了其各种高效训练策略，并实现了多种知识蒸馏方法。我们还在 ImageNet 和 COCO 数据集上复现了部分在 ICLR、NeurIPS、CVPR 和 ECCV 等主要机器学习会议上发表的原始实验结果，包括近期最先进（state-of-the-art）的方法。所有源代码、配置、日志文件和训练好的模型权重均可在 https://github.com/yoshitomo-matsubara/torchdistill 公开获取。
引用
@article{arxiv.2011.12913,
title = {torchdistill: A Modular, Configuration-Driven Framework for Knowledge Distillation},
author = {Yoshitomo Matsubara},
journal= {arXiv preprint arXiv:2011.12913},
year = {2021}
}
备注
Accepted to the 3rd Workshop on Reproducible Research in Pattern Recognition at ICPR 2020