面向大型语言模型的日本金融基准构建
计算金融
2024-03-25 v1 计算与语言
摘要
随着大型语言模型（LLMs）的最新发展，专注于特定领域和语言的模型因其必要性而受到讨论。评估当前 LLMs 在每个领域性能的基准需求也日益增长。因此，在本研究中，我们构建了一个包含多个特定于日语和金融领域任务的基准，并对部分模型进行了基准测量。结果证实，GPT-4 目前表现突出，且所构建的基准功能有效。根据我们的分析，通过组合不同难度的任务，我们的基准能够区分所有性能范围内模型的基准分数。
引用
@article{arxiv.2403.15062,
title = {Construction of a Japanese Financial Benchmark for Large Language Models},
author = {Masanori Hirano},
journal= {arXiv preprint arXiv:2403.15062},
year = {2024}
}
备注
9 pages, Joint Workshop of the 7th Financial Technology and Natural Language Processing (FinNLP), the 5th Knowledge Discovery from Unstructured Data in Financial Services (KDF), and The 4th Workshop on Economics and Natural Language Processing (ECONLP) In conjunction with LREC-COLING-2024