利用深度神经网络估计实例依赖的贝叶斯标签转移矩阵
机器学习
2022-07-15 v3
摘要
在标签噪声学习中，估计转移矩阵是一个热点问题，因为该矩阵在构建统计一致的分类器中起着重要作用。传统上，从干净标签到噪声标签的转移（即干净标签转移矩阵（CLTM））已被广泛利用，通过采用噪声数据来学习干净标签分类器。鉴于分类器大多输出贝叶斯最优标签进行预测，本文研究直接对从贝叶斯最优标签到噪声标签的转移（即贝叶斯标签转移矩阵（BLTM））进行建模，并学习一个分类器来预测贝叶斯最优标签。注意，仅给定噪声数据时，估计 CLTM 或 BLTM 都是不适定的。但有利的是，与干净标签相比，贝叶斯最优标签具有更小的不确定性，即贝叶斯最优标签的类后验为独热向量而干净标签的不是。这使得估计 BLTM 具有两个优势，即（a）可以从噪声数据中收集一组理论上保证的贝叶斯最优标签样本；（b）可行解空间小得多。通过利用这些优势，我们采用深度神经网络对 BLTM 进行参数化估计，从而获得更好的泛化能力和更优的分类性能。
引用
@article{arxiv.2105.13001,
title = {Estimating Instance-dependent Bayes-label Transition Matrix using a Deep Neural Network},
author = {Shuo Yang and Erkun Yang and Bo Han and Yang Liu and Min Xu and Gang Niu and Tongliang Liu},
journal= {arXiv preprint arXiv:2105.13001},
year = {2022}
}
备注
ICML 22 camera ready