FRED：基于给定语境检测与编辑语言模型幻觉的金融检索增强方法
计算与语言
2025-07-31 v2 人工智能
机器学习
摘要
语言模型中的幻觉构成面临临床应用的关键挑战，尤其是在需要事实可靠性的高风险领域如金融领域。本文提出一种有效的方法，用于基于提供的上下文检测和编辑生成响应中的事实错误内容。给定用户定义的领域特定错误分类法，我们通过在金融问答语料库中插入标记错误来构建合成数据集，然后对四个语言模型（Phi-4、Phi-4-mini、Qwen3-4B和Qwen3-14B）进行微调，以检测和编辑这些事实性不准确之处。我们表现最佳的模型——微调后的Phi-4，在二元F1分数上提升8%，整体检测性能相较OpenAI-o3提升30%。值得注意的是，虽然微调后的Phi-4-mini模型仅包含40亿参数，却在二元检测性能上仅比OpenAI-o3下降2%，整体检测性能下降仅0.1%。本工作为检测和编辑金融文本生成中的事实性不一致问题提供了实用解决方案，同时引入一种可推广至金融领域之外的各类应用，以增强大型语言模型可信度和对齐性的通用框架。我们的代码和数据已公开于 https://github.com/pegasi-ai/shield。
引用
@article{arxiv.2507.20930,
title = {FRED: Financial Retrieval-Enhanced Detection and Editing of Hallucinations in Language Models},
author = {Likun Tan and Kuan-Wei Huang and Kevin Wu},
journal= {arXiv preprint arXiv:2507.20930},
year = {2025}
}