非参数迭代机器教学

在本文中，我们考虑迭代机器教学（IMT）问题，其中教师迭代地向学习者提供样本，以使学习者能快速收敛到目标模型。然而，现有 IMT 算法仅基于参数化的目标模型族。它们主要关注参数空间中的收敛，当目标模型被定义为不依赖于参数的函数时便面临困难。为应对这一局限，我们研究一个更通用的任务——非参数迭代机器教学（NIMT），旨在以迭代方式向学习者传授非参数目标模型。与仅在参数空间中操作的参数化 IMT 不同，我们将 NIMT 表述为函数空间中的泛函优化问题。为求解该问题，我们提出随机与贪心两种泛函教学算法。我们在适当假设下获得了随机教学算法的迭代教学维度（ITD），其作为 NIMT 中 ITD 的一致上界。进一步，贪心教学算法的 ITD 显著更低，达到了 NIMT 中 ITD 的更紧上界。最后，我们在非参数场景下通过大量实验验证了理论发现的正确性。