用于不确定性量化方法自动化设计的进化搜索
计算与语言
2026-04-07 v1 人工智能
摘要
大型语言模型的不确定性量化（UQ）方法主要基于领域知识和启发式方法手工设计，限制了其可扩展性和通用性。我们应用LLM驱动的进化搜索，自动发现表示为Python程序的无监督UQ方法。在原子声明验证任务上，我们进化出的方法优于强大的手动设计基线，在9个数据集上实现了高达6.7%的相对ROC-AUC提升，同时在分布外数据上表现出鲁棒的泛化能力。定性分析揭示，不同的LLM采用了性质上不同的进化策略：Claude模型持续设计高特征数量的线性估计器，而Gpt-oss-120B则倾向于更简单、更可解释的位置加权方案。令人惊讶的是，只有Sonnet 4.5和Opus 4.5可靠地利用增加的方法复杂性来提升性能——Opus 4.6相对于其前代表现出意外的性能倒退。总体而言，我们的结果表明，LLM驱动的进化搜索是自动化、可解释的幻觉检测器设计的一种有前景的范式。
引用
@article{arxiv.2604.03473,
title = {Evolutionary Search for Automated Design of Uncertainty Quantification Methods},
author = {Mikhail Seleznyov and Daniil Korbut and Viktor Moskvoretskii and Oleg Somov and Alexander Panchenko and Elena Tutubalina},
journal= {arXiv preprint arXiv:2604.03473},
year = {2026}
}