用于单调核可扩展学习的通用核心集:逻辑回归、Sigmoid 等
机器学习
2021-12-24 v3 数据结构与算法
摘要
核心集(core-set)是输入集 的一个小的加权\emph{子集} ,相对于给定的\emph{单调}函数 ,可\emph{证明地}近似其对任意给定 的拟合损失 。利用 ,我们可以通过在 上运行\emph{现有}优化算法来获得最小化该损失的 的近似。本工作中我们提供:(i) 一个下界,证明对于一般单调损失函数,存在无小于 的核心集的集合。(ii) 一个证明:在自然假设下(例如对逻辑回归和 sigmoid 激活函数成立),对任意输入 存在小的核心集。(iii) 一个通用核心集构造算法,在 时间内计算这样的小核心集 ;以及 (iv) 实验结果,证明我们的核心集是有效的,且在实践中比理论预测的更小。
引用
@article{arxiv.1802.07382,
title = {Generic Coreset for Scalable Learning of Monotonic Kernels: Logistic Regression, Sigmoid and more},
author = {Elad Tolochinsky and Ibrahim Jubran and Dan Feldman},
journal= {arXiv preprint arXiv:1802.07382},
year = {2021}
}