迈向分布外学习的理论
机器学习
2024-06-10 v5 人工智能
机器学习
摘要
学习是一个学习智能体通过接触经验或数据来提升其表现的过程。在这一过程中，智能体可能遇到多样的学习环境。例如，数据可以一次性呈现、分批呈现或顺序呈现。此外，每个数据样本的分布可以是独立同分布（iid）或非独立同分布。另外，学习算法的部署可能存在计算和空间约束。学习任务的复杂性可能差异显著，取决于学习设定及其所施加的约束。然而值得注意的是，当前文献缺乏许多分布内与分布外学习范式的正式定义。为这些学习设定建立恰当且公认的定义，对于深入探究不同学习场景下思想的演进并为这些学习器推导广义数学界至关重要。本文旨在通过采用可证明近似正确（PAC）学习框架、以编年方式定义不同学习任务来解决此问题。我们将从分布内学习开始，推进到近期提出的终身或持续学习。我们采用一致的术语与记号，以展示这些学习框架各自如何成为更广义可学习性概念的具体实例。我们希望本工作能启发一种公认的方法来量化不同类型的学习，从而促进该领域的理解与进展。
引用
@article{arxiv.2109.14501,
title = {Towards a theory of out-of-distribution learning},
author = {Jayanta Dey and Ali Geisa and Ronak Mehta and Tyler M. Tomita and Hayden S. Helm and Haoyin Xu and Eric Eaton and Jeffery Dick and Carey E. Priebe and Joshua T. Vogelstein},
journal= {arXiv preprint arXiv:2109.14501},
year = {2024}
}