基于可解析熵异常值稀疏化的数据异常鲁棒学习
统计方法学
2022-06-08 v1 人工智能
机器学习
摘要
熵异常值稀疏化 (EOS) 被提出作为一种鲁棒计算策略，用于在一大类学习方法中检测数据异常，包括无监督问题（如主要在高斯数据中对非高斯异常值的检测）以及含错误标注数据的监督学习。EOS 依赖于所导出的（加权）期望误差最小化问题在 Shannon 熵正则化下的解析闭式解。与常见的正则化策略所需随数据维度多项式增长的计算代价不同，所识别的闭式解被证明带来的额外迭代代价与统计量大小线性相关且与数据维度无关。所获得的解析结果也解释了为何在许多流行数据分析算法中启发式使用的球对称高斯混合——当使用平方欧氏距离时，代表了非参数概率分布的最优选择，它结合了期望误差最小性、最大熵/无偏性以及线性代价缩放。EOS 的性能在合成问题以及来自生物医学的部分错误标注监督分类问题上与一系列常用工具进行了比较。
引用
@article{arxiv.2112.11768,
title = {Robust learning of data anomalies with analytically-solvable entropic outlier sparsification},
author = {Illia Horenko},
journal= {arXiv preprint arXiv:2112.11768},
year = {2022}
}
备注
9 pages, 1 figure