一种广义特征博弈及其在多视图表示学习中的扩展
机器学习
2023-01-10 v3 机器学习
摘要
广义特征值问题（GEPs）涵盖了一系列有趣的降维方法。开发针对这些问题的高效随机方法可使其扩展到更大数据集。典型相关分析（CCA）是GEPs用于降维的一个例子，已在具有两个或多个数据视图的问题中广泛使用。CCA的深度学习扩展在随机设定下需要较大的小批量尺寸，因而消耗大量内存，才能达到良好性能，这限制了其实际应用。受广义赫布算法启发，我们开发了一种求解随机GEPs的方法，其中所有约束均通过拉格朗日乘子软性施加。进而通过考察该拉格朗日函数及其伪效用的积分，并受近期将主成分分析与GEPs表述为具有可微效用博弈的启发，我们提出了一种博弈论启发的GEPs求解方法。我们表明，我们的方法在线性情形下与先前的赫布及博弈论方法具有诸多相同理论根基，但我们的方法允许扩展至通用函数逼近器（如神经网络），适用于包括CCA在内的某些降维GEPs，这意味着我们的方法可用于深度多视图表示学习。我们利用典型多视图数据集展示了我们的方法在随机设定下求解GEPs的有效性，并展示了在优化深度CCA方面的最优性能。
引用
@article{arxiv.2211.11323,
title = {A Generalized EigenGame with Extensions to Multiview Representation Learning},
author = {James Chapman and Ana Lawry Aguila and Lennie Wells},
journal= {arXiv preprint arXiv:2211.11323},
year = {2023}
}