用于深度直接密度比估计的非负 Bregman 散度最小化
机器学习
2021-07-20 v3 计算机视觉与模式识别
机器学习
摘要
密度比估计（DRE）是异常检测和域适应等多种机器学习任务的核心。在已有的 DRE 研究中，基于 Bregman 散度（BD）最小化的方法已被广泛研究。然而，当 BD 最小化与高度灵活的模型（如深度神经网络）结合使用时，往往会受到我们称之为训练损失黑客攻击的问题的困扰，这是由经验 BD 估计量的典型特征所引起的过拟合来源。在本文中，为缓解训练损失黑客攻击，我们提出了一种针对经验 BD 估计量的非负修正。理论上，我们通过泛化误差界确认了所提方法的合理性。在实验中，所提方法在基于内部样本的离群点检测中表现出良好的性能。
引用
@article{arxiv.2006.06979,
title = {Non-Negative Bregman Divergence Minimization for Deep Direct Density Ratio Estimation},
author = {Masahiro Kato and Takeshi Teshima},
journal= {arXiv preprint arXiv:2006.06979},
year = {2021}
}