超越生成先验：基于 JEPA 引导的少数派抽样

少数派抽样旨在生成数据流形上稀疏的实例，在医学诊断、异常检测和创意 AI 等应用中具有核心意义。然而，现有方法基于训练数据学习的生成先验定义稀疏样本，将稀疏性局限于模型特定的概念，可能不良好反映真实世界语义。在本工作中，我们提出一种以真实世界先验为导向的少数派抽样视角，用真实世界语义稀疏性而非生成器引起的密度来定义稀疏性。为此，我们引入 JEPA 引导，即一种由 Joint-Embedding Predictive Architecture (JEPA) 引导的扩散抽样框架——JEPA 是一类编码广泛语义丰富表征的世界模型。JEPA 引导将扩散轨迹引向其隐式密度下稀疏的区域，从而将生成的稀疏样本与真实世界语义稀疏性对齐。为使 JEPA 引导在计算上实用，我们发展了原则性的近似策略并伴随理论误差界，显著降低了引导计算的开销。在无条件、类别条件和文本到图像生成的广泛实验中，JEPA 引导持续改善稀疏样本的保真度和语义有效性，在捕捉真实世界稀疏性概念方面超越生成器中心基线。代码可在 https://github.com/soobin-um/jepa-guidance 获取。