基于测试时数据增强的均值嵌入用于表征集成
机器学习
2021-07-15 v2 计算机视觉与模式识别
摘要
对一组模型的预测取平均——即集成（ensemble）——被广泛用于提升深度学习模型的预测性能与不确定性估计。与此同时，许多机器学习系统，如搜索、匹配与推荐系统，严重依赖嵌入（embeddings）。遗憾的是，由于独立训练模型的特征未对齐，嵌入无法像朴素深度集成方法那样得到改进。本文关注表征的集成，并提出均值嵌入结合测试时数据增强（MeTTA）这一简单却表现良好的表征集成方案。我们通过实验证明，MeTTA 显著提升了 ImageNet 上监督与自监督模型的线性评估质量。更令人振奋的是，我们建立了 MeTTA、图像检索与变换不变模型之间的联系。我们认为，将集成的成功推广至推断更高质量的表征，是开启集成诸多新应用的重要一步。
引用
@article{arxiv.2106.08038,
title = {Mean Embeddings with Test-Time Data Augmentation for Ensembling of Representations},
author = {Arsenii Ashukha and Andrei Atanov and Dmitry Vetrov},
journal= {arXiv preprint arXiv:2106.08038},
year = {2021}
}