通过学习理论视角的数值生成

Jiaxun Li; Vinod Raman; Ambuj Tewari

通过学习理论视角的数值生成

机器学习 2024-12-30 v5 机器学习

作者: Jiaxun Li , Vinod Raman , Ambuj Tewari

摘要

我们通过统计学习理论的视角来研究生成问题。首先, 我们以二元假设空间定义在抽象示例空间上的假设类的 Gold [1967]、Angluin [1979]、Angluin [1980] 和 Kleinberg和Mullainathan [2024] 的结果进行抽象和形式化。然后, 我们将 Kleinberg和Mullainathan [2024] 所述的"生成"概念扩展到两种新情境, 我们称为"均匀生成"和"非均匀生成", 并提供了哪些假设类是均匀可生成和非均匀可生成的特征。正如在学习理论中一样, 我们的特征以一种新的组合维度, 即 Closure 维度的有限性来表述。通过这种方式, 我们能够将可生成性与可预测性(通过 PAC 和 online learnability 来捕获)进行比较, 并指出这两种属性是不兼容的 — — 有些类是可生成的但不可预测的, 反之亦然。最后, 我们将结果扩展以捕获 prompted generation, 并给出哪些类是 prompt 可生成的完整特征, 概化了 Kleinberg和Mullainathan [2024] 的一些工作。

关键词

统计学习理论生成假设类 Closure维度 PAC可学习性 online可学习性均匀生成非均匀生成

引用

@article{arxiv.2410.13714,
  title  = {Generation through the lens of learning theory},
  author = {Jiaxun Li and Vinod Raman and Ambuj Tewari},
  journal= {arXiv preprint arXiv:2410.13714},
  year   = {2024}
}

备注

35 pages, 2 figures. Reorganization and content addition

通过学习理论视角的数值生成

摘要

关键词

引用

备注

相关论文