TVOR：在直方图中发现离散全变分离群值

Pearson 卡方检验可检测给定一组直方图的数据分布中的离群值。然而，在人口统计学（例如出生年份）等领域，离群值可能更容易依据直方图平滑度来发现，而 Whipple 或 Myers 指数等技术仅能成功处理特定异常。本文利用直方图的离散全变分（DTV）与其各自样本量之间的关系，提出在直方图间进行平滑度离群值检测。该关系经数学推导以适用于所有情形，并由一个精确的线性模型简化。直方图 DTV 偏离模型预测值的大小被用作离群值分数，所提方法命名为全变分离群识别器（TVOR）。TVOR 无需关于直方图样本分布的先验假设，无需要调整的超参数，不限于仅特定模式，且适用于具有相同分箱的直方图。每个分箱可具有任意区间，也可无界。TVOR 比 Pearson 卡方检验更容易发现 DTV 离群值。在分布离群值情形下则相反。TVOR 在真实人口普查数据上测试并成功发现了可疑直方图。源代码见 https://github.com/DiscreteTotalVariation/TVOR。