用于结构化预测的深层 Sketched 输出核回归
机器学习
2024-06-14 v1 机器学习
摘要
通过在输出空间中利用核技巧，核诱导的损失为广泛的输出模态提供了一种原则化的方式来定义结构化输出预测任务。特别是，它们在代理非参数回归中被成功使用，其中通常还在输入空间中利用核技巧。然而，当输入为图像或文本时，更具表现力的模型如深度神经网络似乎比非参数方法更合适。本文旨在解决如何训练神经网络以解决结构化输出预测任务，同时仍能从核诱导的损失的灵活性和相关性中受益的问题。我们设计了一种新型的深度神经网络架构，其最后一层在源自核诱导损失的无限维输出特征空间中，预测一个数据依赖的有限维子空间。该子空间选取为随机近似经验核协方差算子特征函数的张成。有趣的是，这一方法使梯度下降算法（以及任何神经网络架构）能够用于结构化预测。在合成任务以及真实世界的监督图预测问题上的实验表明，我们方法的相关性。
引用
@article{arxiv.2406.09253,
title = {Deep Sketched Output Kernel Regression for Structured Prediction},
author = {Tamim El Ahmad and Junjie Yang and Pierre Laforgue and Florence d'Alché-Buc},
journal= {arXiv preprint arXiv:2406.09253},
year = {2024}
}