利用快速傅里叶变换高效学习去相关表示
机器学习
2023-06-02 v2 计算机视觉与模式识别
摘要
Barlow Twins 和 VICReg 是使用正则化项去相关特征的自监督表示学习模型。尽管这些模型与传统表示学习模型同样有效，但当投影嵌入的维度 d 较高时，其训练可能计算开销很大。由于正则化项是根据互相关或协方差矩阵各个元素定义的，计算 n 个样本的损失需要 O(n d^2) 时间。在本文中，我们提出一种松弛的去相关正则化项，可通过快速傅里叶变换在 O(n d log d) 时间内计算。我们还提出一种低成本技术来缓解由该松弛引起的不良局部极小值。所提出的正则化项在下游任务中表现出与现有正则化项相当的精度，而其训练在 d 较大时需要更少内存且更快。源代码已公开。
引用
@article{arxiv.2301.01569,
title = {Learning Decorrelated Representations Efficiently Using Fast Fourier Transform},
author = {Yutaro Shigeto and Masashi Shimbo and Yuya Yoshikawa and Akikazu Takeuchi},
journal= {arXiv preprint arXiv:2301.01569},
year = {2023}
}
备注
Accepted for CVPR 2023