面向金融领域的 BERTScore 评估风险揭示：FinNuE
机器学习
2026-01-19 v2 数据库
摘要
BERTScore 已成为评估自然语言句子语义相似性的广泛采用的指标。然而，我们识别出一个关键局限性：BERTScore 对数值变化敏感性低，这在金融领域尤为致命，因为数值精度直接影响语义含义（例如，区分 2% 的收益与 20% 的亏损）。我们引入 FinNuE，一个构建于受控数值扰动下的诊断数据集，覆盖盈利公告、监管文件、社交媒体和新闻文章。使用 FinNuE，我们展示了 BERTScore 无法区分语义关键数值差异，常为金融差异巨大的文本对赋予高相似度得分。我们的发现揭示了基于嵌入的指标在金融领域的根本性局限，动员面向金融 NLP 的数值感知评估框架。
引用
@article{arxiv.2511.09998,
title = {DemoTuner: Automatic Performance Tuning for Database Management Systems Based on Demonstration Reinforcement Learning},
author = {Hui Dou and Lei Jin and Yuxuan Zhou and Jiang He and Yiwen Zhang and Zibin Zheng},
journal= {arXiv preprint arXiv:2511.09998},
year = {2026}
}
备注
14 pages, 9 figures