探索噪声数据下前缀微调的鲁棒性：金融情感分析案例研究
计算与语言
2022-11-11 v1 人工智能
计算工程、金融与科学
机器学习
摘要
BERT、GPT 和 RoBERTa 等基于 Transformer 的模型的发明使研究人员和金融公司能够微调这些强大的模型，并将其用于各种下游任务以实现 SOTA 性能。最近，引入了一种作为微调的轻量级替代方案（约占原始模型参数的 0.1% - 3%）的方法，称为前缀微调。该方法冻结模型参数并仅更新前缀，以实现与完全微调相当的性能。前缀微调使研究人员和金融从业者能够以更少的参数实现相似的结果。在本文中，我们探讨了前缀微调在面对噪声数据时的鲁棒性。我们的实验表明，微调比前缀微调对噪声更具鲁棒性——后一种方法在大多数损坏数据集上随着噪声水平的增加面临性能的显著下降。此外，与微调相比，前缀微调在许多损坏方法中的 F1 分数具有高方差。我们强烈主张在将 SOTA 前缀微调方法应用于噪声数据时应谨慎行事。
引用
@article{arxiv.2211.05584,
title = {Exploring Robustness of Prefix Tuning in Noisy Data: A Case Study in Financial Sentiment Analysis},
author = {Sudhandar Balakrishnan and Yihao Fang and Xioadan Zhu},
journal= {arXiv preprint arXiv:2211.05584},
year = {2022}
}
备注
Accepted at the FinNLP workshop part of the EMNLP 2022 conference