为金融开放意图分类学习更好的意图表示
计算与语言
2022-10-27 v1 计算金融
摘要
随着自然语言处理技术在金融领域的近期激增，银行和其他金融机构已采用虚拟代理（VA）来协助客户。该领域中VA面临的一个挑战性问题是确定用户联系VA的原因或意图，特别是当该意图在VA训练期间未被见过或处于开放状态时。处理开放意图的一种方法是自适应决策边界（ADB）后处理，该方法从意图表示中学习紧凑的决策边界，以分离已知意图和开放意图。我们提出引入两种方法对意图表示进行监督预训练：prefix-tuning和仅微调大型语言模型（LLM）的最后一层。通过这一提议，我们在banking77等基准上的开放意图分类任务中，准确率比先前最先进的ADB方法高出1.63%至2.07%。值得注意的是，我们仅为原始ADB模型补充了0.1%的额外可训练参数。消融研究还确定，我们的方法优于对整个模型进行全量微调。我们假设，我们的发现可以激发一种新的最优下游微调方法，该方法将参数高效微调模块与微调基础模型的部分层相结合。
引用
@article{arxiv.2210.14304,
title = {Learning Better Intent Representations for Financial Open Intent Classification},
author = {Xianzhi Li and Will Aitken and Xiaodan Zhu and Stephen W. Thomas},
journal= {arXiv preprint arXiv:2210.14304},
year = {2022}
}
备注
Accepted to FinNLP-2022, in conjunction with EMNLP-2022