没有免费的午餐：学习无幻觉生成模型的基本限制
机器学习
2025-02-10 v1 人工智能
机器学习
摘要
生成模型在跨各个领域合成高质量输出方面展现出了令人瞩目的能力。然而，一个持续的挑战是“幻觉”的出现，即模型产生看似合理但无效的输出。尽管已有经验性策略被探索用于缓解此问题，但严格的理论理解仍然难以捉摸。在本文中，我们开发了一个理论框架，从学习理论的角度分析无幻觉生成模型的可学习性。我们的结果表明，仅依赖训练数据集在统计上是不可能实现无幻觉学习的，即使假设类的大小仅为二且整个训练集都是真实的。为了克服这些限制，我们表明将符合实际事实的归纳偏置纳入学习过程是必不可少的。我们提供了一种系统的方法，通过将事实集限制为有限 VC 维的概念类来实现这一点，并展示了其在各种学习范式下的有效性。尽管我们的发现主要是概念性的，但它们代表了朝着解决生成模型学习中幻觉问题的原则性方法迈出的第一步。
引用
@article{arxiv.2410.19217,
title = {No Free Lunch: Fundamental Limits of Learning Non-Hallucinating Generative Models},
author = {Changlong Wu and Ananth Grama and Wojciech Szpankowski},
journal= {arXiv preprint arXiv:2410.19217},
year = {2025}
}