面向预训练模型的即插即用文档模块
计算与语言
2023-05-30 v1
摘要
大规模预训练模型（PTM）已广泛用于面向文档的 NLP 任务，如问答。然而，编码-任务耦合的要求导致对同一文档针对不同任务和查询被重复编码，计算效率极低。为此，我们旨在将文档编码与下游任务解耦，并提出将每个文档表示为预训练模型（PlugD）的即插即用文档模块，即文档插件。通过将文档插件插入骨干 PTM 以用于下游任务，我们可以一次性编码文档来处理多个任务，这比使用任务特定编码器同时编码文档和输入查询的传统编码-任务耦合方法更高效。在 4 类典型 NLP 任务的 8 个数据集上的大量实验表明，PlugD 使模型能够跨不同场景一次性编码文档。特别地，PlugD 可节省 的计算成本，同时取得与最先进编码-任务耦合方法相当的性能。此外，我们展示了 PlugD 可作为一种有效的后处理方式来向任务特定模型中注入知识，无需任何额外模型训练即可提升模型性能。
引用
@article{arxiv.2305.17660,
title = {Plug-and-Play Document Modules for Pre-trained Models},
author = {Chaojun Xiao and Zhengyan Zhang and Xu Han and Chi-Min Chan and Yankai Lin and Zhiyuan Liu and Xiangyang Li and Zhonghua Li and Zhao Cao and Maosong Sun},
journal= {arXiv preprint arXiv:2305.17660},
year = {2023}
}
备注
Accepted by ACL 2023