通过增强感知自监督提升表征的可迁移性
机器学习
2021-11-19 v1 人工智能
计算机视觉与模式识别
摘要
近期的无监督表征学习方法已证明可通过学习对随机裁剪和颜色抖动等数据增强不变的表征，在一系列视觉任务中有效。然而，如果下游任务依赖于数据增强的特征（例如对位置或颜色敏感），这种不变性可能有害。这不仅是无监督学习的问题；我们发现即便在监督学习中也会发生，因为它同样学习对实例的所有增强样本预测相同标签。为避免此类失败并获得更具泛化性的表征，我们建议优化一个辅助自监督损失，称为 AugSelf，其学习两个随机增强样本之间增强参数（例如裁剪位置、颜色调整强度）的差异。我们的直觉是，AugSelf 鼓励在所学表征中保留增强感知信息，这有利于其可迁移性。此外，AugSelf 可轻易融入近期最先进的表征学习方法，且额外训练成本可忽略。大量实验表明，我们的简单思路在各种迁移学习场景中持续提升了监督与无监督方法所学表征的可迁移性。代码见 https://github.com/hankook/AugSelf。
引用
@article{arxiv.2111.09613,
title = {Improving Transferability of Representations via Augmentation-Aware Self-Supervision},
author = {Hankook Lee and Kibok Lee and Kimin Lee and Honglak Lee and Jinwoo Shin},
journal= {arXiv preprint arXiv:2111.09613},
year = {2021}
}
备注
Accepted to NeurIPS 2021