TraMNet——用于高效动作管道提议的转移矩阵网络

当前最先进的方法通过将2D锚点扩展到帧栈上的3D长方体提议来解决时空动作定位，以生成称为动作微管（action micro-tubes）的时序连接边界框集合。然而，它们未能考虑到底层锚点提议假设也应随演员或相机那样从帧到帧移动（转移）。假设我们在每帧中评估 $n$ 个2D锚点，则对于 $f$ 个连续帧的序列，每个2D锚点到下一帧的可能转移数为 $O(n^f)$ 量级，即便 $f$ 取值较小也十分昂贵。为避免该问题，我们引入一种基于转移矩阵的网络（Transition-Matrix-based Network, TraMNet），其依赖于计算锚点提议间的转移概率，同时最大化它们跨帧与真实边界框的重叠，并通过转移阈值强制稀疏性。由于所得转移矩阵是稀疏且随机的，这将提议假设搜索空间从 $O(n^f)$ 降低到阈值化矩阵的基数。在训练时，转移特定于特征图的单元位置，从而使用稀疏（高效）转移矩阵训练网络。在测试时，可通过降低阈值或向其添加源自任意单元位置的所有相对转移来获得更稠密的转移矩阵，使网络能处理训练数据中可能未出现的测试数据转移，并实现检测平移不变性。最后，我们展示了我们的网络能处理如 DALY 数据集中可用的稀疏标注。我们在 DALY、UCF101-24 和 Transformed-UCF101-24 数据集上报告了广泛实验以支持我们的主张。