UniDEC：用于极端多标签分类的统一双编码器和分类器训练
图像与视频处理
2025-09-25 v2 计算机视觉与模式识别
机器学习
摘要
极端多标签分类（XMC）涉及从极大标签空间中预测一组相关标签，给定输入查询和带有文本特征的标签。针对该问题开发的模型传统上使用双编码器（DE）来嵌入查询和标签文本，并使用 one-vs-all（OvA）分类器对精选标签进行重排序。尽管此类方法已显示出实证成功，但其计算成本是一个主要缺点，常需最多 16 个 GPU 在最大公开数据集上进行训练。这种高成本源于对整个标签空间的损失计算。虽然已提出短选策略用于分类器，但本文旨在研究此类方法在 DE 框架中的应用。本文开发了 UniDEC，一个与损失无关、可端到端训练的框架，通过多类损失在统一方式下训练 DE 和分类器，同时通过 4-16 倍降低计算成本实现此目标。这通过提出的挑选部分标签（PSL）缩减实现，旨在仅对一部分正负标签计算损失。这些标签在小批次中精心选择，以最大化其监督信号。不仅本文提出的框架在数百万数量级的标签数据集上实现了最先进的结果，而且在单 GPU 上以计算和资源效率实现此性能。代码已在 https://github.com/the-catalyst/UniDEC 提供。
引用
@article{arxiv.2405.03713,
title = {Improve Cross-Modality Segmentation by Treating T1-Weighted MRI Images as Inverted CT Scans},
author = {Hartmut Häntze and Lina Xu and Maximilian Rattunde and Leonhard Donle and Felix J. Dorfner and Alessa Hering and Lisa C. Adams and Keno K. Bressem},
journal= {arXiv preprint arXiv:2405.03713},
year = {2025}
}
备注
6 pages, 3 figures, updated data and methodology, conclusion unchanged