利用内外时间正则化实现黑盒视频域自适应

为使视频模型能够无缝应用于不同环境下的视频任务，已有多种视频无监督域自适应（VUDA）方法被提出，以提升视频模型的鲁棒性与可迁移性。尽管这些方法在模型鲁棒性上有所改进，但它们需要访问源数据与源模型参数才能进行自适应，从而引发严重的数据隐私与模型可移植性问题。针对上述关切，本文首次将黑盒视频域自适应（BVDA）形式化为一种更现实却更具挑战性的场景：源视频模型仅作为黑盒预测器提供。尽管图像领域已提出若干黑盒域自适应（BDA）方法，但这些方法无法应用于视频领域，因为视频模态具有更复杂、更难对齐的时间特征。为应对BVDA，我们提出一种新颖的内外时间正则化网络（EXTERN），通过掩码混合策略与针对视频的正则化——即跨片段与时间特征执行的内时间正则化与外时间正则化，同时从黑盒预测器的预测结果中蒸馏知识。实证结果表明，EXTERN在多个跨域闭集与部分集动作识别基准上达到了最先进的性能，甚至超越了大多数可访问源数据的现有视频域自适应方法。