SilverSight：基于自适应语义空间学习的多任务中文金融大语言模型
计算与语言
2024-04-09 v1 计算工程、金融与科学
摘要
大型语言模型（LLMs）越来越多地应用于各个专业领域，利用其广泛的知识赋能这些领域内的众多场景。然而，每个领域都包含多种需要学习的特定任务，这些领域中的多样化、异构数据可能导致模型任务迁移时的冲突。针对这一挑战，我们的研究引入了自适应语义空间学习（ASSL）框架，该框架利用语义空间中数据分布的自适应重组来增强多专家模型的性能和选择效率。利用该框架，我们训练了一个名为“SilverSight”的金融多任务LLM。我们的研究结果表明，我们的框架仅使用10%的数据就能达到接近全数据训练的结果，同时展现出强大的泛化能力。
引用
@article{arxiv.2404.04949,
title = {SilverSight: A Multi-Task Chinese Financial Large Language Model Based on Adaptive Semantic Space Learning},
author = {Yuhang Zhou and Zeping Li and Siyu Tian and Yuchen Ni and Sen Liu and Guangnan Ye and Hongfeng Chai},
journal= {arXiv preprint arXiv:2404.04949},
year = {2024}
}
备注
17 pages, 17 figures