基于内蕴体积的线性可分性概率研究
统计理论
2025-08-26 v3 统计理论
摘要
如果具有两个标签的数据集可以被一个超平面划分为两类,则它是线性可分的。这给某些统计工具(如逻辑回归)带来诅咒,但对其他工具(如支持向量机)则是福音。最近,以下问题重新引起了关注:数据线性可分的概率是多少?我们给出了高斯特征且标签仅依赖于特征的一个边缘分布(如广义线性模型中)时线性可分概率的公式。在此设定下,我们推导出了一个补充 Hayakawa、Lyons 和 Oberhauser [2023] 近期结果的界限,以及针对符号翻转噪声的紧致上界。为了证明我们的结果,我们利用了该概率可以表示为形式为 的多面体锥的内蕴体积之和这一事实,如 Cand\`es 和 Sur [2020] 所示。在给出该锥的不等式描述和投影到其上的算法后,我们计算了其内蕴体积。在此过程中,我们遇到了 Youden's demon 问题,并给出了遵循 Kabluchko 和 Zaporozhets [2020] 的公式。本工作的关键洞察如下:数据中正确标注的观测值数量影响了该多面体锥的结构,从而允许将几何学的洞察转化为统计学。
引用
@article{arxiv.2404.12889,
title = {On the probability of linear separability through intrinsic volumes},
author = {Felix Kuchelmeister},
journal= {arXiv preprint arXiv:2404.12889},
year = {2025}
}
备注
New reference added, shortened to 53 pages