L3iTC在FinLLM挑战赛任务中的表现：金融文本分类与摘要的量化
计算与语言
2024-08-07 v1 计算工程、金融与科学
摘要
本文详细介绍了我们（L3iTC）在FinLLM挑战赛2024年任务中的参赛情况，主要聚焦于两个关键领域：任务1，金融文本分类；任务2，金融文本摘要。为应对这些挑战，我们对多个大型语言模型（LLM）进行微调，以优化每个任务的性能。具体而言，我们使用4位量化和LoRA来确定哪些层的LLM应以更低的精度进行训练。这种方法不仅加快了在组织方提供的训练数据上的微调过程，还使我们能够在低GPU内存上运行模型。我们的微调模型在金融分类任务中取得第三名，F1分数为0.7543；在官方测试数据集上的金融摘要任务中获得第六名。
引用
@article{arxiv.2408.03033,
title = {L3iTC at the FinLLM Challenge Task: Quantization for Financial Text Classification & Summarization},
author = {Elvys Linhares Pontes and Carlos-Emiliano González-Gallardo and Mohamed Benjannet and Caryn Qu and Antoine Doucet},
journal= {arXiv preprint arXiv:2408.03033},
year = {2024}
}
备注
Joint Workshop of the 8th Financial Technology and Natural Language Processing (FinNLP) and the 1st Agent AI for Scenario Planning (AgentScen), 2024