面向鲁棒低资源微调的多视图压缩表示
计算与语言
2023-05-29 v4 人工智能
机器学习
摘要
由于参数量巨大，预训练语言模型（PLMs）的微调在低资源场景下容易过拟合。在这项工作中，我们提出了一种作用于 PLM 隐藏表示以减少过拟合的新方法。在微调期间，我们的方法在 PLM 的隐藏层之间插入随机自编码器，在将前几层的激活送入上层之前将其变换为多视图压缩表示。自编码器在微调后被移除，因此我们的方法在推理时不增加额外参数或计算成本。我们的方法在广泛的序列级和 token 级低资源 NLP 任务上展现出有前景的性能提升。
引用
@article{arxiv.2211.08794,
title = {Towards Robust Low-Resource Fine-Tuning with Multi-View Compressed Representations},
author = {Linlin Liu and Xingxuan Li and Megh Thakkar and Xin Li and Shafiq Joty and Luo Si and Lidong Bing},
journal= {arXiv preprint arXiv:2211.08794},
year = {2023}
}
备注
Accepted by ACL 2023