如何在你的 DETR 中通过匈牙利算法反向传播？
计算机视觉与模式识别
2022-11-29 v1 机器学习
图像与视频处理
摘要
检测Transformer（DETR）方法使用Transformer编码器-解码器架构和基于集合的全局损失，已成为许多基于Transformer应用的构建模块。然而，如最初所述，分配代价与全局损失并不对齐，即降低前者可能但未必保证降低后者。且当使用如匈牙利算法这样的组合求解器时，梯度问题被忽略。本文中我们展示全局损失可表示为一个与分配无关的项，以及一个与分配有关的项之和，后者可用于定义分配代价矩阵。随后，利用关于最优分配代价相对于分配问题参数的广义梯度的最新结果，定义损失相对于网络参数的广义梯度，并恰当执行反向传播。我们使用相同损失权重的实验显示出有趣的收敛特性及进一步提升性能的潜力。
引用
@article{arxiv.2211.14448,
title = {How to Backpropagate through Hungarian in Your DETR?},
author = {Lingji Chen and Alok Sharma and Chinmay Shirore and Chengjie Zhang and Balarama Raju Buddharaju},
journal= {arXiv preprint arXiv:2211.14448},
year = {2022}
}