F-PABEE：基于灵活耐心的单标签与多标签文本分类任务早退方法
计算与语言
2023-05-23 v1
摘要
计算复杂度和过度思考问题已成为拥有数百万甚至数万亿参数的预训练语言模型（PLMs）的瓶颈。为缓解上述单标签分类（SLC）和多标签分类（MLC）任务中的问题，提出了一种基于灵活耐心的早退方法（F-PABEE）。F-PABEE 在分类器处进行预测，若跨层预测分布连续相似则提前退出。它比先前最先进（SOTA）的早退方法 PABEE 更灵活，因为它可同时调整相似度分数阈值与耐心参数。大量实验表明：（1）在 SLC 和 MLC 任务上，F-PABEE 比现有早退策略取得更好的加速-精度平衡。（2）在 BERT 和 ALBERT 等不同 PLM 上，F-PABEE 实现更快推理与更优性能。（3）采用不同相似度度量的 F-PABEE 中，F-PABEE-JSKD 表现最佳。
引用
@article{arxiv.2305.11916,
title = {F-PABEE: Flexible-patience-based Early Exiting for Single-label and Multi-label text Classification Tasks},
author = {Xiangxiang Gao and Wei Zhu and Jiasheng Gao and Congrui Yin},
journal= {arXiv preprint arXiv:2305.11916},
year = {2023}
}
备注
accepted by ICASSP-2023