TriDet：基于相对边界建模的时间动作检测

本文提出一种用于时间动作检测的单阶段框架 TriDet。现有方法常因视频中动作边界模糊而受限于不精确的边界预测。为缓解该问题，我们提出一种新颖的 Trident-head，通过估计边界周围相对概率分布来建模动作边界。在 TriDet 的特征金字塔中，我们提出一种高效的可扩展粒度感知（SGP）层，以缓解视频特征中自注意力引发的秩损失问题，并聚合不同时间粒度下的信息。得益于 Trident-head 与基于 SGP 的特征金字塔，TriDet 在 THUMOS14、HACS 和 EPIC-KITCHEN 100 三个具有挑战性的基准上以更低的计算成本取得了最先进的性能。例如，TriDet 在 THUMOS14 上达到 $69.3\%$ 的平均 mAP，比此前最佳高出 $2.5\%$，但时延仅为其 $74.6\%$。代码发布于 https://github.com/sssste/TriDet。