择优取梯度：通过可微交叉近似学习视觉数据的低秩嵌入
计算机视觉与模式识别
2021-11-15 v3 机器学习
摘要
我们提出了一种端到端可训练框架，仅通过查看大规模视觉数据张量的一小部分元素来处理它们。我们的方法将神经网络编码器与张量列分解相结合，以学习低秩潜在编码，并配合交叉近似（CA）通过原始样本的子集来学习表示。CA 是一种原生适用于张量分解的自适应采样算法，可避免显式处理完整的全分辨率数据。相反，它主动选择局部代表性样本，我们以核外方式按需获取这些样本。所需样本数量仅随输入规模对数增长。我们在网络中隐式表示张量，使得处理原本以未压缩形式无法处理的大型网格成为可能。所提方法特别适用于大规模多维网格数据（例如 3D tomography）以及需要在大感受野上获取上下文的任务（例如预测整个器官的医学状况）。代码可在 https://github.com/aelphy/c-pic 获取。
引用
@article{arxiv.2105.14250,
title = {Cherry-Picking Gradients: Learning Low-Rank Embeddings of Visual Data via Differentiable Cross-Approximation},
author = {Mikhail Usvyatsov and Anastasia Makarova and Rafael Ballester-Ripoll and Maxim Rakhuba and Andreas Krause and Konrad Schindler},
journal= {arXiv preprint arXiv:2105.14250},
year = {2021}
}