HOME：基于高阶混合矩的表示学习嵌入方法
机器学习
2022-07-19 v1 人工智能
计算机视觉与模式识别
摘要
潜空间中嵌入的不同元素间的最小冗余是表示学习捕获内在信息结构的基本需求或主要偏好。当前的自监督学习方法最小化成对协方差矩阵以减少特征冗余并取得良好结果。然而，多变量的此类表示特征可能包含多于两个特征变量间的冗余，无法通过成对正则化最小化。本文提出基于高阶混合矩的嵌入(HOME)策略，以减少任意特征变量集合间的冗余，据我们所知这是在此背景下利用高阶统计/信息的首次尝试。当且仅当多变量相互独立时，多元互信息最小，这意味着多变量间混合矩分解的必要条件。基于这些统计与信息论原理，我们提出通用的HOME框架用于自监督表示学习。初步实验表明，以三阶HOME方案形式的简单版本，在表示特征的线性评估上已显著优于当前二阶基线方法(即Barlow Twins)。
引用
@article{arxiv.2207.07743,
title = {HOME: High-Order Mixed-Moment-based Embedding for Representation Learning},
author = {Chuang Niu and Ge Wang},
journal= {arXiv preprint arXiv:2207.07743},
year = {2022}
}