PMaF：用于主矩阵特征的深度声明式层
机器学习
2023-07-04 v3
摘要
我们探索了两个可微分的深度声明式层，即球面上的最小二乘（LESS）和隐式特征分解（IED），用于学习主矩阵特征（PMaF）。它可用于以包含高维矩阵中主导信息的低维向量表示数据特征。我们首先在前向传播中用迭代优化求解问题，然后在双层优化框架下对解反向传播以得到隐式梯度。特别地，研究了带回溯线搜索方法的自适应下降步长以及切空间中的下降衰减，以提升 LESS 前向传播效率。同时，所利用的数据结构大幅降低了 LESS 和 IED 反向传播中的计算复杂度。通过经验验证，我们在解的最优性与计算需求方面展示了我们的层相对于现成基线的优越性。
引用
@article{arxiv.2306.14759,
title = {PMaF: Deep Declarative Layers for Principal Matrix Features},
author = {Zhiwei Xu and Hao Wang and Yanbin Liu and Stephen Gould},
journal= {arXiv preprint arXiv:2306.14759},
year = {2023}
}
备注
16 pages, 7 figures, 10 tables, accepted to the differentiable almost everything workshop, ICML, 2023