无限维输出再生核希尔伯特空间中的对偶性：在鲁棒损失中的应用
机器学习
2020-08-24 v3 机器学习
摘要
算子值核（OVKs）及相应的向量值再生核希尔伯特空间，在输出空间为希尔伯特空间时，提供了一种推广标量核方法的优雅途径。尽管主要用于有限维问题（如多任务回归），该框架处理无限维输出空间的能力开启了更多应用，例如函数回归、结构化输出预测和结构化数据表示。然而，这些复杂方案关键依赖于输出空间中的核技巧，因此以往工作大多聚焦于平方范数损失函数，完全忽视了此类代理问题中可能出现的鲁棒性问题。为克服这一局限，本文发展了一种对偶方法，可求解广泛损失函数下的 OVK 机器。无限维拉格朗日乘子通过双重表示定理处理，并详细给出了 -不敏感损失和 Huber 损失的算法。理论稳定性分析以及结构化数据应用上的经验改进均凸显了鲁棒性优势。
引用
@article{arxiv.1910.04621,
title = {Duality in RKHSs with Infinite Dimensional Outputs: Application to Robust Losses},
author = {Pierre Laforgue and Alex Lambert and Luc Brogat-Motte and Florence d'Alché-Buc},
journal= {arXiv preprint arXiv:1910.04621},
year = {2020}
}