超越知识与智能体：基于CNFinBench评估金融领域的专业性、自主性与完整性
计算工程、金融与科学
2026-02-16 v4
摘要
随着大语言模型（LLMs）成为风险敏感环境中的高权限智能体，它们引入了超越幻觉的系统性威胁，其中微小的合规错误可能导致关键数据泄露。然而，现有基准测试聚焦于基于规则的问答，缺乏智能体执行建模，忽视了对抗交互中的合规漂移，并依赖无法捕捉行为退化的二元安全指标。为弥补这些差距，我们提出了CNFinBench，一个涵盖29个子任务的综合基准，以专业性、自主性与完整性的三重框架为基础。它通过认证监管语料库和专业金融任务评估领域特定能力，从需求解析到工具验证重建端到端智能体工作流，并模拟诱导行为合规漂移的多轮对抗攻击。为量化安全退化，我们引入了有害指令合规分数（HICS），一种多维安全指标，整合了特定风险类型的扣减、多轮一致性跟踪和基于细粒度违规触发器的严重程度调整惩罚缩放。对22个开源/闭源模型的评估揭示：LLMs在应用任务上表现良好但缺乏稳健的规则理解，从单模块到完整执行链下降15.4，在多轮攻击中迅速崩溃，第2轮平均违规激增172.3%。CNFinBench可在 https://cnfinbench.opencompass.org.cn 和 https://github.com/VertiAIBench/CNFinBench 获取。
引用
@article{arxiv.2512.09506,
title = {Beyond Knowledge to Agency: Evaluating Expertise, Autonomy, and Integrity in Finance with CNFinBench},
author = {Jinru Ding and Chao Ding and Yidong Jiang and Wenrao Pang and Boyi Xiao and Zhiqiang Liu and Jiayuan Chen and Yun Zhong and Tiantian Yuan and Junming Guan and Dawei Cheng and Jie Xu},
journal= {arXiv preprint arXiv:2512.09506},
year = {2026}
}