基于 MAP 与 MLE 的教学
机器学习
2023-07-12 v1 机器学习
摘要
设想一个学习者 L 试图从一组观测中推断一个隐藏概念。基于 Ferri 等人 [4] 的工作，我们假设学习者由先验 P(c) 和 c 条件似然 P(z|c) 参数化，其中 c 遍历给定类 C 中的所有概念，z 遍历观测集 Z 中的所有观测。如果 L 将一组观测 S 视为随机样本并返回具有最大后验概率的概念（相应地，返回使 S 的 c 条件似然最大化的概念），则称 L 为 MAP 学习者（相应地，MLE 学习者）。根据 L 假设 S 是通过有序或无序抽样、有放回或无放回抽样获得的，我们可以区分四种不同的抽样模式。给定 C 中的一个目标概念 c，MAP 学习者 L 的教师旨在找到一组最小的观测，使 L 返回 c。这种方法自然地引出了概念类 C 的各种 MAP 或 MLE 教学维数概念。我们的主要结果是：我们表明该教学模型具有一些理想的单调性性质。我们阐明了四种抽样模式彼此之间的关系。对于（重要的！）特殊情况，即概念是域的子集而观测是 0,1 标记的样例，我们获得了一些额外结果。首先，我们从图论上刻画了与最优参数化的 MAP 学习者相关的 MAP 和 MLE 教学维数。由这一核心结果可以容易地推导出其他一些结果。例如，表明 MLE 教学维数要么等于 MAP 教学维数，要么比后者大 1。还表明这些维数可由所谓的反链数、VC 维以及相关的组合参数从上方界定。此外，它们可以在多项式时间内计算。
引用
@article{arxiv.2307.05252,
title = {MAP- and MLE-Based Teaching},
author = {Hans Ulrich Simon and Jan Arne Telle},
journal= {arXiv preprint arXiv:2307.05252},
year = {2023}
}