MonoCon：基于单调性约束学习超紧凑高保真表示的通用框架

Shreyas Gokhale

MonoCon：基于单调性约束学习超紧凑高保真表示的通用框架

机器学习 2025-09-30 v1 人工智能计算机视觉与模式识别

作者: Shreyas Gokhale

摘要

学习高质�、稳健、高效且解耦的表示是人工智能中的核心挑战。深度度量学习框架主要通过架构和优化约束来应对这一挑战。我们提出第三种方法，依赖于函数约束。具体而言，本文提出MonoCon，一个简单框架，使用附加于任何预训练编码器上的小型单调多层感知器（MLP）头。由于编码器和头在对比损失和单调性约束的共同适应下，MonoCon学习到稳健、解耦且极度紧凑的嵌入，几乎不增加性能代价。在CIFAR-100图像分类任务上，MonoCon获得的表示比微调编码器基线紧凑近9倍、稳健1.5倍，同时保留99%的基线5-NN分类准确率。我们还报告在SNLI句子相似度任务上实现3.4倍的紧凑性和1.4倍的稳健性，STSb得分仅略有下降，确立MonoCon作为通用领域无关框架。关键是，这些通过函数约束学习到的稳健、超紧凑表示为边缘计算到云规模检索等离散场景的关键挑战提供了统一解决方案。

关键词

表示学习单调性对比学习多层感知器 CIFAR-100 SNLI 紧凑嵌入

引用

@article{arxiv.2509.22931,
  title  = {MonoCon: A general framework for learning ultra-compact high-fidelity representations using monotonicity constraints},
  author = {Shreyas Gokhale},
  journal= {arXiv preprint arXiv:2509.22931},
  year   = {2025}
}

备注

16 pages, 7 figures

MonoCon：基于单调性约束学习超紧凑高保真表示的通用框架

摘要

关键词

引用

备注

相关论文