用于监督表示学习的靶标嵌入自编码器
机器学习
2020-01-24 v1 机器学习
摘要
基于自编码器的学习已成为在无监督与半监督设定中约束表示的常规手段。本文分析一种在纯监督设定中改善泛化的框架，其中靶标空间为高维。我们动机化并形式化了用于监督预测的靶标嵌入自编码器（TEA）通用框架，学习中间潜在表示，其联合优化以同时可从特征预测并对靶标具有预测性——编码了靶标变化由一组紧凑潜在因子驱动的先验。作为理论贡献，我们通过证明一致稳定性为线性TEA提供了泛化保证，将辅助重构任务的益处解释为一种正则化形式。作为实证贡献，我们将该方法的验证从现有静态分类应用扩展到多元序列预测，在线性与非线性循环架构上均验证了它们的优势——从而强调了该框架超越前馈实例的进一步通用性。
引用
@article{arxiv.2001.08345,
title = {Target-Embedding Autoencoders for Supervised Representation Learning},
author = {Daniel Jarrett and Mihaela van der Schaar},
journal= {arXiv preprint arXiv:2001.08345},
year = {2020}
}