基于方差感知网络的时间动作定位

本工作利用方差感知网络（VAN，即在使用回归任务输入和/或输出二阶统计量的深度神经网络）解决时间动作定位问题。我们首先提出一种网络（VANp），当给定输入的二阶统计量（即每个样本具有均值和方差）时，它在整个网络中传播均值和方差，以输出带有二阶统计量的结果。在该框架中，输入和输出均可解释为高斯分布。为此，我们推导了可微分的解析解或合理近似，以在常用神经网络层中传播。为训练网络，我们基于预测高斯分布与围绕真实动作边界的高斯分布之间的 KL 散度定义可微损失，并使用标准反向传播。重要的是，VANp 中的方差传播不需要任何额外参数，且在测试时也不需要任何额外计算。在动作定位中，输入的均值和方差在池化操作中计算，池化通常用于将任意长视频压缩为固定维度的向量。其次，我们提出两种替代公式，通过为回归网络的第一个（或最后一个）层增加额外参数，从而在输入（或输出）中同时接收（或预测）均值和方差。在动作定位问题上的结果表明，引入二阶统计量优于基线网络，且 VANp 在无需任何额外参数的情况下超越了几乎所有其他两阶段网络的精度。