自调节数据无关知识融合用于文本分类
计算与语言
2024-06-25 v1
摘要
最近，各种模型仓库上预训练文本模型的 availability 日益增长。这些模型大幅降低了从头训练新模型的成本，因为它们可以针对特定任务进行微调或在大型数据集上训练。然而，这些数据集可能因隐私、安全或知识产权问题而无法公开获取。本文旨在开发一个轻量级学生网络，通过不访问原始训练数据的情况下从多个教师模型中学习。因此，我们研究了数据无关知识融合（DFKA），这是一种将来自多个预训练教师模型的见解有效整合到紧凑学生网络中的知识转移任务。为实现这一目标，我们提出了STRATANET框架，包括：(a)一个可调节数据生成器，为每个教师生成量身定制的文本数据；(b)一个融合模块，实施基于教师不同层confidence estimates的自调节策略，以选择性地整合它们的知识并训练一个通用的学生。我们在三个具有不同标签或领域的基准文本分类数据集上评估了该方法。经验结果表明，使用我们STRATANET学习的学生模型在数据驱动和数据无关约束下均显著优于多个基线方法。
引用
@article{arxiv.2406.15476,
title = {Self-Regulated Data-Free Knowledge Amalgamation for Text Classification},
author = {Prashanth Vijayaraghavan and Hongzhi Wang and Luyao Shi and Tyler Baldwin and David Beymer and Ehsan Degan},
journal= {arXiv preprint arXiv:2406.15476},
year = {2024}
}
备注
12 pages, 5 Figures, Proceedings of NAACL 2024