DUET：二维结构化且近似等变表示
机器学习
2023-11-20 v3 人工智能
摘要
多视图自监督学习（MSSL）基于学习关于一组输入变换的不变性。然而，不变性会部分或完全地从表示中移除与变换相关的信息，这可能损害需要此类信息的特定下游任务性能。我们提出二维结构化且等变表示（简称为 DUET），其为以矩阵结构组织的二维表示，并且关于作用于输入数据的变换是等变的。DUET 表示在保持语义表达性的同时，维持关于输入变换的信息。与 SimCLR（Chen et al., 2020）（非结构化且不变）和 ESSL（Dangovski et al., 2022）（非结构化且等变）相比，DUET 表示的结构化与等变特性实现了可控生成且重构误差更低，而 SimCLR 或 ESSL 无法实现可控性。DUET 还在若干判别任务上取得更高准确率，并改进了迁移学习。
引用
@article{arxiv.2306.16058,
title = {DUET: 2D Structured and Approximately Equivariant Representations},
author = {Xavier Suau and Federico Danieli and T. Anderson Keller and Arno Blaas and Chen Huang and Jason Ramapuram and Dan Busbridge and Luca Zappella},
journal= {arXiv preprint arXiv:2306.16058},
year = {2023}
}
备注
Accepted at ICML 2023