通过序贯博弈追求多子空间的判别表示
机器学习
2022-10-07 v2 机器学习
摘要
我们考虑为分布支撑在或围绕多个低维线性子空间的高维空间数据学习判别表示的问题。即，我们希望计算数据的一个线性单射映射，使得特征位于多个正交子空间上。我们没有使用多个 PCA 来处理这一学习问题，而是利用最近为学习一般低维子流形的判别和生成表示而提出的闭环转录（CTRL）框架，将其转化为一个序贯博弈。我们证明了该博弈的均衡解确实给出了正确的表示。我们的方法统一了学习子空间的经典方法与现代深度学习实践，表明子空间学习问题可以使用表示学习的现代工具包得到可证明的解决。此外，我们的工作为 CTRL 框架在线性子空间这一重要情形下提供了首个理论论证。我们用令人信服的实验证据支持了理论发现。我们还将序贯博弈公式推广到更一般的表示学习问题。我们的代码（包括便于复现实验结果的方法）已在 GitHub 上公开。
引用
@article{arxiv.2206.09120,
title = {Pursuit of a Discriminative Representation for Multiple Subspaces via Sequential Games},
author = {Druv Pai and Michael Psenka and Chih-Yuan Chiu and Manxi Wu and Edgar Dobriban and Yi Ma},
journal= {arXiv preprint arXiv:2206.09120},
year = {2022}
}
备注
main body is 16 pages and has 5 figures; appendix is 17 pages and has 6 figures