一种用于 SVM 与深度神经网络的广义二次损失

我们考虑一些有监督二分类任务与回归任务，而目前 SVM 与深度学习展现出最佳的泛化性能。我们扩展了文献[3]中关于广义二次损失的工作，该损失考察模式相关性，以将学习问题集中于模式分布更密集的输入空间区域。从浅层方法视角（例如：SVM），由于文献[3]中问题(9)的后续数学推导有误，我们从文献[3]中问题(8)重新出发，并尝试用一种在双变量上迭代直至原始与目标对偶目标函数收敛的过程来求解。此外，我们提出另一种直接从原始问题公式求解分类问题的算法。我们也利用多核学习（Multiple Kernel Learning）来提升泛化性能。而且，我们首次引入一种考虑模式相关性的自定义损失，用于浅层与深度学习任务。我们提出若干模式选择准则，并给出 SVM 方法在 4 个 UCI 数据集上的结果。我们还报告了基于 Twitter 的较大二分类数据集（同样取自 UCI）结合浅层学习神经网络、带与不带广义二次损失的结果。最后，我们在一个取自 UCI 的较大回归任务中用深度神经网络测试了我们的损失。我们将优化器结果与著名的求解器 SVMlight 以及采用标准损失和参数化广义二次损失的 Keras 多层神经网络进行比较，获得了可比的结果。