面向金融自然语言理解任务的模型无关元学习
计算与语言
2023-03-28 v2 人工智能
机器学习
摘要
由于标注数据匮乏以及该领域语言的专业性，自然语言理解（Natural language understanding, NLU）在金融领域颇具挑战。为此，研究者提出使用预训练语言模型与多任务学习来学习鲁棒表示。然而，激进的微调常导致过拟合，且多任务学习可能偏向数据量显著更大的任务等。为解决这些问题，本文在低资源金融 NLU 任务中探究模型无关元学习算法（Model-Agnostic Meta-Learning, MAML）。我们的贡献包括：1. 我们探索 MAML 方法在多种类型任务上的表现：GLUE 数据集、SNLI、Sci-Tail 与 Financial PhraseBank；2. 我们研究 MAML 方法在多个单一类型任务上的表现：一个基于推特文本数据的真实场景股价预测问题。实验结果表明，我们的模型取得了最先进的（state-of-the-art）性能，证明我们的方法能够快速且良好地适应低资源情形。
引用
@article{arxiv.2303.02841,
title = {Model-Agnostic Meta-Learning for Natural Language Understanding Tasks in Finance},
author = {Bixing Yan and Shaoling Chen and Yuxuan He and Zhihan Li},
journal= {arXiv preprint arXiv:2303.02841},
year = {2023}
}
备注
13 pages, 6 figures, 8 tables