KFinEval-Pilot：面向韩语金融语言理解的综合基准套件
计算与语言
2025-04-21 v1 人工智能
机器学习
摘要
我们介绍 KFinEval-Pilot，一个专为评估韩语金融领域大型语言模型 (LLMs) 而设计的基准套件。针对现有以英语为中心的基准的局限性，KFinEval-Pilot 包含超过 1,000 个精选问题，涵盖三个关键领域：金融知识、法律推理和金融毒性。该基准通过将 GPT-4 生成的提示与专家验证结合的半自动化管道构建，确保领域相关性和事实准确性。我们评估了 various 代表性 LLMs，观察到不同模型之间在任务准确度和输出安全性之间存在显著差异。这些结果凸显了在将 LLMs 应用于 high-stakes 金融应用时，在推理和安全方面仍存在的挑战。基于现实世界的金融应用场景，并符合韩语法规和语言背景，KFinEval-Pilot 作为开发更安全更可靠金融 AI 系统的早期诊断工具。
引用
@article{arxiv.2504.13216,
title = {KFinEval-Pilot: A Comprehensive Benchmark Suite for Korean Financial Language Understanding},
author = {Bokwang Hwang and Seonkyu Lim and Taewoong Kim and Yongjae Geun and Sunghyun Bang and Sohyun Park and Jihyun Park and Myeonggyu Lee and Jinwoo Lee and Yerin Kim and Jinsun Yoo and Jingyeong Hong and Jina Park and Yongchan Kim and Suhyun Kim and Younggyun Hahm and Yiseul Lee and Yejee Kang and Chanhyuk Yoon and Chansu Lee and Heeyewon Jeong and Jiyeon Lee and Seonhye Gu and Hyebin Kang and Yousang Cho and Hangyeol Yoo and KyungTae Lim},
journal= {arXiv preprint arXiv:2504.13216},
year = {2025}
}