基于多域数据集训练的监督对比学习所得表示的迁移性
计算机视觉与模式识别
2023-09-28 v1
摘要
对比学习已被证明能比使用交叉熵损失训练的模型学习到更高质量的表示，并且能更好地迁移至不同域的下游数据集。然而，探索在多域数据集上训练时利用对比学习所学表示的迁移性方面的工作甚少。本文使用监督对比学习框架从多域 DomainNet 数据集学习表示，并评估所学表示在其他下游数据集上的迁移性。采用固定特征线性评估协议在跨不同域选取的 7 个下游数据集上评估迁移性。所得结果与使用广泛使用的交叉熵损失训练的基线模型进行比较。实验的经验结果表明，平均而言，监督对比学习模型在 7 个下游数据集上比基线模型高出 6.05%。研究结果表明，当在多域数据集上训练时，监督对比学习模型有可能学到比交叉熵模型更鲁棒且跨域迁移更好的表示。
引用
@article{arxiv.2309.15486,
title = {Transferability of Representations Learned using Supervised Contrastive Learning Trained on a Multi-Domain Dataset},
author = {Alvin De Jun Tan and Clement Tan and Chai Kiat Yeo},
journal= {arXiv preprint arXiv:2309.15486},
year = {2023}
}