ELM:面向长尾学习的嵌入与对数边际
机器学习
2022-04-29 v1 机器学习
摘要
长尾学习是在倾斜标签分布下学习的问题,这对标准学习器构成了挑战。针对该问题的若干近期方法提出在对数(logit)空间中强制合适的边际。此类技术直观上是 SVM 背后指导原则的类似物,并且同样适用于线性模型与神经网络模型。然而,当应用于神经网络模型时,此类技术并未显式控制所学嵌入的几何结构。这可能潜在地次优,因为尾类嵌入可能分散,导致这些类的泛化性能较差。我们提出嵌入与对数边际(ELM),一种在对数空间强制边际并正则化嵌入分布的统一方法。这将长尾学习的损失与度量嵌入及对比学习文献中的方案联系起来。我们从理论上表明,最小化所提出的 ELM 目标有助于减小泛化差距。实证表明 ELM 方法表现良好,并带来更紧致的尾类嵌入。
引用
@article{arxiv.2204.13208,
title = {ELM: Embedding and Logit Margins for Long-Tail Learning},
author = {Wittawat Jitkrittum and Aditya Krishna Menon and Ankit Singh Rawat and Sanjiv Kumar},
journal= {arXiv preprint arXiv:2204.13208},
year = {2022}
}
备注
24 pages