高斯混合下的长尾理论
机器学习
2023-07-26 v2 机器学习
摘要
我们提出了一个符合Feldman长尾理论（2020）的简易高斯混合数据生成模型。我们证明在所提模型中，线性分类器无法将泛化误差降低到某一水平以下，而具有记忆能力的非线性分类器可以。这证实了对于长尾分布，必须考虑稀有训练样本以实现对新数据的最优泛化。最后，我们表明随着子群体频率分布中尾部的变短，线性与非线性模型间的性能差距可减小，这一点在合成和真实数据的实验中得到验证。
引用
@article{arxiv.2307.10736,
title = {Long-Tail Theory under Gaussian Mixtures},
author = {Arman Bolatov and Maxat Tezekbayev and Igor Melnykov and Artur Pak and Vassilina Nikoulina and Zhenisbek Assylbekov},
journal= {arXiv preprint arXiv:2307.10736},
year = {2023}
}
备注
accepted to ECAI 2023