LAET：面向预训练语言模型的分层自适应集成调优框架
计算与语言
2025-12-08 v2 人工智能
计算工程、金融与科学
摘要
自然语言处理 (NLP) 已在金融行业实现变革，推动了文本分析、风险管理和预测等领域的进步。像 BloombergGPT 和 FinMA 这样的大型语言模型 (LLM)，在情感分析、股票走势预测和信用风险评估等various金融NLP任务中树立了新基准。此外，FinMA-ES——一种双语金融大型语言模型——也在 FLARE 和 FLARE-ES 基准测试中表现出色。然而，这些模型的高计算需求限制了许多组织的可及性。为此，我们提出了分层自适应集成调优 (Layer-wise Adaptive Ensemble Tuning, LAET)，一种新颖策略，通过分析隐藏状态表示来选择对预训练大型语言模型最有效的层进行微调，同时冻结较不关键的层。LAET显著降低了计算开销，同时提升了任务特定的性能。我们的 approach 在金融NLP任务中表现出色，甚至在较小的大型语言模型 (约3B参数) 中也超越了现有基准和如 GPT-4 等最先进的大型语言模型。这一工作以高效且可扩展的金融应用模型，搭建了前沿金融NLP研究与实际部署之间的桥梁。
引用
@article{arxiv.2511.11315,
title = {LAET: A Layer-wise Adaptive Ensemble Tuning Framework for Pretrained Language Models},
author = {Jawad Ibn Ahad and Muhammad Rafsan Kabir and Robin Krambroeckers and Sifat Momen and Nabeel Mohammed and Shafin Rahman},
journal= {arXiv preprint arXiv:2511.11315},
year = {2025}
}