i-Mix：一种用于对比表示学习的领域无关策略
机器学习
2021-03-19 v2 机器学习
摘要
对比表示学习已被证明可从无标签数据中学习表示。然而，许多进展依赖于利用领域知识精心设计的视觉域数据增强。本工作中，我们提出 i-Mix，一种简单而有效的领域无关正则化策略，用于改进对比表示学习。我们将对比学习视为通过为批次中每个数据分配唯一虚拟类来训练非参数分类器。随后，在输入与虚拟标签空间中均对数据实例进行混合，在训练时提供更多增广数据。实验中，我们证明 i-Mix 在包括图像、语音与表格数据在内的跨域中一致改进所学表示的质量。此外，我们通过跨模型与数据集规模的广泛消融研究确认其正则化效应。代码可在 https://github.com/kibok90/imix 获取。
引用
@article{arxiv.2010.08887,
title = {i-Mix: A Domain-Agnostic Strategy for Contrastive Representation Learning},
author = {Kibok Lee and Yian Zhu and Kihyuk Sohn and Chun-Liang Li and Jinwoo Shin and Honglak Lee},
journal= {arXiv preprint arXiv:2010.08887},
year = {2021}
}
备注
ICLR 2021