Plutus：面向低资源希腊金融领域的大语言模型基准测试
计算与语言
2025-02-27 v1
摘要
尽管希腊在全球经济中占据重要角色，但大语言模型（LLM）在希腊金融语境下仍未得到充分探索，这主要源于希腊语的语言复杂性以及领域特定数据稀缺的限制。先前的多语言金融自然语言处理（NLP）工作暴露了显著的性能差距，然而目前尚无针对希腊语金融的专门基准测试或希腊语金融LLM的开发。为弥合这一差距，我们引入Plutus-ben，这是首个希腊语金融评估基准测试，以及Plutus-8B，这是首个针对希腊语金融领域微调的语言模型。Plutus-ben 涵盖五个核心金融NLP任务：数字和文本命名实体识别、问答、抽象摘要和主题分类，从而实现系统化且可复现的LLM评估。为支撑这些任务，我们提供了三个新型高质量希腊语金融数据集，由专职希腊语母语专家完成详尽标注，并辅以两个现有资源。对22个LLM在Plutus-ben上的全面评估表明，希腊语金融NLP仍具有挑战性，这源于语言复杂性、领域特定术语以及金融推理能力的不足。这些发现凸显了跨语言迁移的局限性、希腊语训练模型中金融专业知识的必要性，以及适配希腊语文本进行金融LLM适配的挑战。我们公开发布Plutus-ben、Plutus-8B及所有关联数据集，以推动可复现研究的进展，促进希腊金融NLP的发展，促进金融领域的更广泛多语言包容性。
引用
@article{arxiv.2502.18772,
title = {Plutus: Benchmarking Large Language Models in Low-Resource Greek Finance},
author = {Xueqing Peng and Triantafillos Papadopoulos and Efstathia Soufleri and Polydoros Giannouris and Ruoyu Xiang and Yan Wang and Lingfei Qian and Jimin Huang and Qianqian Xie and Sophia Ananiadou},
journal= {arXiv preprint arXiv:2502.18772},
year = {2025}
}
备注
18 pages, 6 figures