知识蒸馏抽象中的置信度保持性质
计算与语言
2024-01-23 v1 机器学习
摘要
社交媒体平台通过检测帖子和评论中的有害内容来防止恶意活动。为此，它们采用大规模深度神经网络语言模型进行情感分析和内容理解。某些模型（如 BERT）结构复杂且参数众多，这使得它们的运行和维护成本高昂。为了克服这些缺陷，业界专家采用知识蒸馏压缩技术，其中蒸馏模型被训练以复现原始模型的分类行为。当蒸馏损失函数达到停止标准时，蒸馏过程终止。该函数的设计主要是为了确保原始模型和蒸馏模型表现出相似的分类行为。然而，除了分类准确率之外，蒸馏模型还应保留原始模型的其他一些属性，才能被视为适当的抽象。在这项工作中，我们探讨了蒸馏后的 TinyBERT 模型是否保留了原始 BERT 模型的置信度值，并研究了这种置信度保持性质如何指导蒸馏过程的超参数调优。
引用
@article{arxiv.2401.11365,
title = {Confidence Preservation Property in Knowledge Distillation Abstractions},
author = {Dmitry Vengertsev and Elena Sherman},
journal= {arXiv preprint arXiv:2401.11365},
year = {2024}
}