torchdistill 结合 Hugging Face 库实现可复现、无编码深度学习研究：以 NLP 为例

Yoshitomo Matsubara

doi:10.18653/v1/2023.nlposs-1.18

torchdistill 结合 Hugging Face 库实现可复现、无编码深度学习研究：以 NLP 为例

计算与语言 2025-01-06 v1 计算机视觉与模式识别机器学习

作者: Yoshitomo Matsubara

在 arXiv 上查看 ↗ PDF ↗ DOI ↗

摘要

由于深度学习进展所支撑的研究领域快速发展，在机器学习、自然语言处理与计算机视觉等研究群体中，科学工作的可复现性正变得愈发重要。本文呈现了 torchdistill 的重大升级版本——一个模块化驱动、无编码的深度学习框架，其相较初始发布版有显著升级，初始版仅支持图像分类与目标检测任务以进行可复现的知识蒸馏实验。为证明升级后的框架可借助第三方库支持更多任务，我们使用基于升级版 torchdistill 的脚本复现了 BERT 模型的 GLUE 基准结果，并与各类 Hugging Face 库协同。所有用于复现结果的 27 个微调 BERT 模型与配置均已发布于 Hugging Face，且模型权重已在研究群体中被广泛使用。我们还重新实现了流行的轻量模型与新的知识蒸馏方法，并针对计算机视觉任务开展了额外实验。

关键词

可复现深度学习无编码框架 torchdistill Hugging Face 库知识蒸馏 BERT 模型 GLUE 基准

引用

@article{arxiv.2310.17644,
  title  = {torchdistill Meets Hugging Face Libraries for Reproducible, Coding-Free Deep Learning Studies: A Case Study on NLP},
  author = {Yoshitomo Matsubara},
  journal= {arXiv preprint arXiv:2310.17644},
  year   = {2025}
}

备注

Accepted at the 3rd Workshop for Natural Language Processing Open Source Software (NLP-OSS) at EMNLP 2023

torchdistill 结合 Hugging Face 库实现可复现、无编码深度学习研究：以 NLP 为例

摘要

关键词

引用

备注

相关论文