关于偏标记学习中平均损失的鲁棒性
机器学习
2022-11-28 v2
摘要
偏标记学习（PLL）利用带有偏标记（PL）的样本，其中PL包含若干候选标记但仅有一个是真实标记（TL）。在PLL中，基于辨识的策略（IBS）动态纯化每个PL以选择（最可能的）TL进行训练；基于平均的策略（ABS）平等对待所有候选标记进行训练，并使训练后的模型能够预测TL。尽管PLL研究为更好性能聚焦于IBS，ABS也值得研究，因为现代IBS在训练初期行为类似ABS，为PL纯化和TL选择做准备。本文中，我们分析ABS为何不尽如人意并提出改进方法。理论上，我们形式化了PLL的五种问题设定，并证明具有有界多类损失的平均PL损失（APLL）总是鲁棒的，而具有无界损失的APLL可能非鲁棒，这是PLL的首个鲁棒性分析。实验上，我们有两个有前景的发现：使用有界损失的ABS可匹配/超越使用无界损失的IBS的最优性能；在使用鲁棒APLL热启动后，IBS可进一步提升自身。我们的工作引起对ABS研究的关注，其可进而促进IBS并推动整个PLL。
引用
@article{arxiv.2106.06152,
title = {On the Robustness of Average Losses for Partial-Label Learning},
author = {Jiaqi Lv and Biao Liu and Lei Feng and Ning Xu and Miao Xu and Bo An and Gang Niu and Xin Geng and Masashi Sugiyama},
journal= {arXiv preprint arXiv:2106.06152},
year = {2022}
}