具有可训练增强通道的对比表示学习
机器学习
2021-11-16 v1 机器学习
摘要
在对比表示学习中，数据表示被训练为即使图像被增强变换改动也能对图像实例进行分类。然而，依数据集不同，某些增强可能将图像信息破坏至无法辨认，此类增强会导致表示坍缩。我们通过对随机编码过程的形式化给出该问题的部分解决方案，其中增强引入的数据损坏与编码器保留的信息之间存在一种拉锯。我们表明，基于该框架的 infoMax 目标下，我们可以学习数据依赖的增强分布以避免表示坍缩。
引用
@article{arxiv.2111.07679,
title = {Contrastive Representation Learning with Trainable Augmentation Channel},
author = {Masanori Koyama and Kentaro Minami and Takeru Miyato and Yarin Gal},
journal= {arXiv preprint arXiv:2111.07679},
year = {2021}
}