Okapi：通过使统计匹配真正匹配来实现更优泛化
计算机视觉与模式识别
2022-11-11 v1 机器学习
摘要
我们提出Okapi，一种基于在线统计匹配的简单、高效且通用的鲁棒半监督学习方法。我们的方法使用基于最近邻的匹配过程为一致性损失生成跨域视图，同时剔除统计离群点。为了以运行时和内存高效的方式进行在线匹配，我们借鉴自监督文献，将记忆库与慢速移动的动量编码器相结合。一致性损失应用于特征空间而非预测分布，使该方法对所涉及的模态和任务均保持无关性。我们在Sagawa等人提出的WILDS 2.0数据集上实验，该数据集显著扩展了可用于研究和基准测试真实世界无监督适应的模态、应用和偏移范围。与Sagawa等人不同，我们表明借助正确的方法，事实上可以利用额外无标签数据来改进经验风险最小化（ERM）结果。我们的方法在iWildCam（多类分类任务）和PovertyMap（回归任务）图像数据集以及CivilComments（二分类任务）文本数据集的分布外（OOD）泛化上优于基线方法。此外，从定性角度看，我们展示所学编码器获得的匹配具有强语义相关性。我们的论文代码公开于https://github.com/wearepal/okapi/。
引用
@article{arxiv.2211.05236,
title = {Okapi: Generalising Better by Making Statistical Matches Match},
author = {Myles Bartlett and Sara Romiti and Viktoriia Sharmanska and Novi Quadrianto},
journal= {arXiv preprint arXiv:2211.05236},
year = {2022}
}
备注
Proceeding of NeurIPS 2022