一种基于哈希的简单早退方法用于语言理解与生成
计算与语言
2022-03-04 v1
摘要
早退允许实例根据其难度估计在不同层退出。先前工作通常采用启发式度量（如内部输出的熵）来衡量实例难度，这存在泛化性差和阈值调参的问题。相比之下，学习退出或学习预测实例难度是更具吸引力的方式。尽管已有一些工作致力于采用此类“学习退出”模块，但实例难度是否可被学习以及学习效果如何仍属未知。作为回应，我们首先对实例难度的可学习性进行实验，结果表明现代神经模型在预测实例难度上表现不佳。基于该观察，我们提出一种简单而有效的基于哈希的早退方法（HashEE），用哈希函数将每个 token 分配到固定的退出层，以替代学习退出模块。与先前方法不同，HashEE 无需内部分类器或额外参数，因而更高效。在分类、回归和生成任务上的实验结果表明，与先前最先进的早退方法相比，HashEE 能以更少的 FLOPs 和推理时间取得更高性能。
引用
@article{arxiv.2203.01670,
title = {A Simple Hash-Based Early Exiting Approach For Language Understanding and Generation},
author = {Tianxiang Sun and Xiangyang Liu and Wei Zhu and Zhichao Geng and Lingling Wu and Yilong He and Yuan Ni and Guotong Xie and Xuanjing Huang and Xipeng Qiu},
journal= {arXiv preprint arXiv:2203.01670},
year = {2022}
}
备注
Accepted to Findings of ACL 2022