谨慎解冻：语义解析模型的空间高效微调
计算与语言
2022-03-08 v1 机器学习
摘要
语义解析是一项关键的自然语言处理任务，将自然语言映射为结构化意义表示。与许多其他 NLP 任务一样，语义解析中的 SOTA 性能现通过微调大型预训练语言模型（PLM）取得。尽管有效，当存在多个下游任务时，该方法效率低下，因为需要为每个任务分别存储 PLM 所有参数的一组新值。近期工作探索了在保持 PLM 大部分（或全部）参数冻结的情况下将其适配到下游任务的方法。我们考察了两种此类有前景的技术——前缀微调（prefix tuning）和偏置项微调（bias-term tuning），并具体应用于语义解析。我们在两个不同语义解析数据集上将它们相互比较，并在少样本和常规数据设置下将它们与全微调和部分微调进行比较。虽然前缀微调在直接用于语义解析任务时表现不佳，但我们通过添加特殊词元嵌入对其修改，从而在不牺牲参数节省的前提下获得了非常强的性能。
引用
@article{arxiv.2203.02652,
title = {Unfreeze with Care: Space-Efficient Fine-Tuning of Semantic Parsing Models},
author = {Weiqi Sun and Haidar Khan and Nicolas Guenon des Mesnards and Melanie Rubino and Konstantine Arkoudas},
journal= {arXiv preprint arXiv:2203.02652},
year = {2022}
}
备注
9 pages, 4 figures, submitted to the ACM Web Conference 2022 (WWW '22) and accepted as a full-length research track paper. To be published in the proceedings and ACM Digital Library