中文

用于单调核可扩展学习的通用核心集:逻辑回归、Sigmoid 等

机器学习 2021-12-24 v3 数据结构与算法

摘要

核心集(core-set)是输入集 PP 的一个小的加权\emph{子集} QQ,相对于给定的\emph{单调}函数 f:RRf:\mathbb{R}\to\mathbb{R},可\emph{证明地}近似其对任意给定 xRdx\in\mathbb{R}^d 的拟合损失 pPf(px)\sum_{p\in P}f(p\cdot x)。利用 QQ,我们可以通过在 QQ 上运行\emph{现有}优化算法来获得最小化该损失的 xx^* 的近似。本工作中我们提供:(i) 一个下界,证明对于一般单调损失函数,存在无小于 n=Pn=|P| 的核心集的集合。(ii) 一个证明:在自然假设下(例如对逻辑回归和 sigmoid 激活函数成立),对任意输入 PP 存在小的核心集。(iii) 一个通用核心集构造算法,在 O(nd+nlogn)O(nd+n\log n) 时间内计算这样的小核心集 QQ;以及 (iv) 实验结果,证明我们的核心集是有效的,且在实践中比理论预测的更小。

关键词

引用

@article{arxiv.1802.07382,
  title  = {Generic Coreset for Scalable Learning of Monotonic Kernels: Logistic Regression, Sigmoid and more},
  author = {Elad Tolochinsky and Ibrahim Jubran and Dan Feldman},
  journal= {arXiv preprint arXiv:1802.07382},
  year   = {2021}
}