数据增强对大语言模型置信度估计的影响
机器学习
2025-06-16 v1
摘要
置信度估计对于反映大型语言模型（LLM）的可靠性至关重要，尤其是对于广泛使用的闭源模型而言。虽然利用数据增强进行置信度估计是可行的，但目前的讨论仅聚焦于特定的增强技术，限制了其潜在价值。我们研究了不同数据增强方法对置信度估计的影响。我们的发现表明，数据增强策略可以实现更好的性能并缓解过度自信的问题。我们针对此问题的影响因素进行了探索，发现虽然保持语义信息不变，更大的数据多样性能够提高增强的效果。此外，不同增强策略的影响在不同应用范围内也有所不同。考虑到参数可迁移性和可用性，增强方法的随机组合是一种有前景的选择。
引用
@article{arxiv.2506.11046,
title = {The Effects of Data Augmentation on Confidence Estimation for LLMs},
author = {Rui Wang and Renyu Zhu and Minmin Lin and Runze Wu and Tangjie Lv and Changjie Fan and Haobo Wang},
journal= {arXiv preprint arXiv:2506.11046},
year = {2025}
}