面向预训练语言模型的高效属性注入
计算与语言
2021-09-17 v1
摘要
元数据属性（例如来自评论的用户和产品 ID）可通过修改模型架构作为额外输入并入基于神经网络的 NLP 模型中，以提升其性能。然而，近期模型依赖于预训练语言模型（PLMs），先前使用的属性注入技术要么繁琐要么无效。本文中，我们提出一种轻量且内存高效的向 PLMs 注入属性的方法。我们扩展适配器（即微小的插件式前馈模块），使其独立于文本或与文本联合地纳入属性。为限制参数量的增长（尤其在属性词表很大时），我们使用低秩近似与超复数乘法，显著减少了总参数。我们还引入了训练机制以处理属性可多标签或稀疏的领域。在来自不同领域的八个数据集上的大量实验与分析表明，我们的方法优于先前的属性注入方法，并在多个数据集上达到当前最优（state-of-the-art）性能。
引用
@article{arxiv.2109.07953,
title = {Efficient Attribute Injection for Pretrained Language Models},
author = {Reinald Kim Amplayo and Kang Min Yoo and Sang-Woo Lee},
journal= {arXiv preprint arXiv:2109.07953},
year = {2021}
}