FinPT:基于预训练基础模型画像调优的金融风险预测
风险管理
2023-08-02 v1 计算工程、金融与科学
计算与语言
机器学习
统计金融
摘要
金融风险预测在金融领域起着关键作用。机器学习方法已被广泛应用于自动检测潜在风险,从而节省人力成本。然而,该领域近年来的发展受限于以下两方面:1)所用算法相对过时,尤其在生成式AI与大型语言模型(LLMs)飞速发展的背景下;2)缺乏统一且开源的金融基准长期阻碍了相关研究。为解决这些问题,我们提出FinPT与FinBench:前者是一种在大型预训练基础模型上进行画像调优(Profile Tuning)的金融风险预测新方法,后者是一组关于违约、欺诈和流失等金融风险的高质量数据集。在FinPT中,我们将金融表格数据填入预定义指令模板,通过提示LLMs获得自然语言客户画像,并用画像文本微调大型基础模型以进行预测。我们在FinBench上通过一系列具代表性的强基线实验证明了所提FinPT的有效性。分析研究进一步深化了对LLMs用于金融风险预测的理解。
引用
@article{arxiv.2308.00065,
title = {FinPT: Financial Risk Prediction with Profile Tuning on Pretrained Foundation Models},
author = {Yuwei Yin and Yazheng Yang and Jian Yang and Qi Liu},
journal= {arXiv preprint arXiv:2308.00065},
year = {2023}
}
备注
Keywords: Profile Tuning, Financial Risk Prediction, Financial Benchmark, Pretrained Foundation Models