面向结构化输出预测的深层神经网络正则化

深层神经网络模型是学习表示的强大框架。通常，它用于通过利用输入 $x$ 中的规律性来学习关系 $x \to y$。在结构化输出预测问题中，$y$ 是多维的，且维度之间常存在结构关系。本工作的动机是学习可能存在于输出数据中的输出依赖关系，以提高预测精度。遗憾的是，前馈网络无法利用输出之间的关系。为克服此问题，本文提出一种利用多任务框架为这些特定任务训练神经网络的正则化方案。我们的方案旨在以无监督方式将输出表示 $y$ 的学习纳入训练过程，同时学习有监督映射函数 $x \to y$。我们在面部关键点检测问题（一种典型的结构化输出任务）上评估了我们的框架。我们在两个公开具有挑战性的数据集（LFPW 和 HELEN）上表明，我们的正则化方案改善了深层神经网络的泛化能力并加速了训练。我们还探索了未标记数据和仅标签数据的使用，显示出结果的进一步提升。我们提供了框架的开源实现（https://github.com/sbelharbi/structured-output-ae）。