基于最优传输的自动异常值修正
机器学习
2024-07-12 v2 机器学习
最优化与控制
统计方法学
摘要
在本文中，我们提出了一个新颖的概念框架，利用带有凹成本函数的最优传输来检测异常值。传统的异常值检测方法通常采用两阶段过程：首先检测并移除异常值，然后在清洗后的数据上进行估计。然而，这种方法未能将异常值的移除与估计任务相结合，留下了改进空间。为解决这一局限性，我们提出了一种自动异常值修正机制，将修正与估计整合在一个联合优化框架内。我们首次利用带有凹成本函数的最优传输距离，在概率分布空间中构建一个修正集。然后，我们在修正集中选择最佳分布来执行估计任务。值得注意的是，我们在本文中引入的凹成本函数是使我们的估计器在优化过程中有效识别异常值的关键。我们在均值估计、最小绝对回归以及期权隐含波动率曲面拟合的模拟和实证分析中，证明了该方法优于传统方法的有效性。
引用
@article{arxiv.2403.14067,
title = {Automatic Outlier Rectification via Optimal Transport},
author = {Jose Blanchet and Jiajin Li and Markus Pelger and Greg Zanotti},
journal= {arXiv preprint arXiv:2403.14067},
year = {2024}
}