一石多鸟：多任务文本分类的高效单次前向推理
计算与语言
2022-05-24 v1 机器学习
摘要
多任务学习（MTL）模型在跨任务迁移所学知识方面已展现出鲁棒性、有效性与高效性。在诸如网络内容分类的真实工业应用中，对同一输入文本（如一篇网络文章）需预测多个分类任务。然而在部署服务时，现有的多任务 Transformer 模型（如基于提示或适配器的方案）对 N 个任务需进行 N 次前向传播，计算代价为 O(N)。为解决该问题，我们提出一种可扩展方法，仅需一次前向传播即可以接近 O(1) 的计算代价取得更强的性能。为说明实际应用，我们发布了一个关于新闻主题与体裁分类的多任务数据集。实验表明，我们所提方法在 GLUE 基准与我们的新闻数据集上均优于强基线。我们的代码与数据集已公开于 https://bit.ly/mtop-code。
引用
@article{arxiv.2205.10744,
title = {All Birds with One Stone: Multi-task Text Classification for Efficient Inference with One Forward Pass},
author = {Jiaxin Huang and Tianqi Liu and Jialu Liu and Adam D. Lelkes and Cong Yu and Jiawei Han},
journal= {arXiv preprint arXiv:2205.10744},
year = {2022}
}