SoftSort：argsort算子的连续松弛
机器学习
2020-06-30 v1 机器学习
摘要
尽管排序是计算机科学中的重要过程，argsort算子——以向量为输入并返回其排序置换——其像为离散的，因而几乎处处梯度为零。这阻碍了依赖argsort算子的模型进行端到端的基于梯度的学习。克服此问题的自然方法是以连续松弛替代argsort算子。近期工作给出了若干实现方式，但迄今提出的松弛计算复杂。本工作中我们提出一种简单的argsort算子连续松弛，具备以下特性：可用三行代码实现、达到最先进（SOTA）性能、易于数学推理——大幅简化证明——且快于竞争方法。我们开源了用于复现所有实验与结果的代码。
引用
@article{arxiv.2006.16038,
title = {SoftSort: A Continuous Relaxation for the argsort Operator},
author = {Sebastian Prillo and Julian Martin Eisenschlos},
journal= {arXiv preprint arXiv:2006.16038},
year = {2020}
}
备注
9 pages, 6 figures. Accepted at ICML 2020