MARS：张量分解中的掩码自动秩选择
机器学习
2023-04-05 v3 机器学习
摘要
张量分解方法已在包括神经网络压缩与加速在内的多种应用中被证明有效。与此同时，确定最优分解秩这一控制压缩-精度权衡的关键参数的问题依然严峻。本文中，我们提出MARS——一种用于通用张量分解中秩自动选择的新高效方法。在训练过程中，该过程学习分解核上的二值掩码以“选择”最优张量结构。学习通过特定贝叶斯模型中的松弛最大后验(MAP)估计执行，并可自然嵌入标准神经网络训练流程。多样实验表明，MARS在各任务中相较先前工作取得更优结果。
引用
@article{arxiv.2006.10859,
title = {MARS: Masked Automatic Ranks Selection in Tensor Decompositions},
author = {Maxim Kodryan and Dmitry Kropotov and Dmitry Vetrov},
journal= {arXiv preprint arXiv:2006.10859},
year = {2023}
}
备注
AISTATS 2023