通过对齐嵌入空间集团提高预训练编码器在OOD数据上的泛化能力
机器学习
2024-11-21 v1 计算机视觉与模式识别
摘要
在没有微调的情况下，自监督预训练嵌入在离分布(OOD)数据上的质量较差。改善预训练表示对OOD数据的泛化性格 straightforward and simple的方法是使用深度集团。然而，仅凭无标签数据获取有效的嵌入空间集团仍是一个未解决的问题。我们首先进行理论分析，揭示了集团中各个超球形嵌入空间之间的关系。随后，我们设计了一种以无监督方式对齐这些嵌入空间的方法。在MNIST数据集上的实验结果表明，我们的嵌入空间集团方法在单一编码器的预训练嵌入质量方面优于对in分布和OOD数据。
引用
@article{arxiv.2411.13073,
title = {Improving OOD Generalization of Pre-trained Encoders via Aligned Embedding-Space Ensembles},
author = {Shuman Peng and Arash Khoeini and Sharan Vaswani and Martin Ester},
journal= {arXiv preprint arXiv:2411.13073},
year = {2024}
}
备注
Accepted at the Self-Supervised Learning Workshop and the Unifying Representations in Neural Models Workshop at NeurIPS 2024