端到端视频学习中批归一化的陷阱：一项关于手术工作流分析的研究
计算机视觉与模式识别
2024-04-22 v5
摘要
批归一化（BN）依赖于批次中其他样本的独特性质已知会在若干任务（包括序列建模）中引发问题。然而，尽管 CNN（卷积神经网络）中 BN 被广泛用于特征提取，针对长视频理解的 BN 相关问题却鲜有研究。尤其在手术工作流分析中，由于缺乏预训练特征提取器，导致了复杂的多阶段训练流程，对 BN 问题的有限认知可能掩盖了端到端训练 CNN 与时序模型的好处。本文分析了视频学习中 BN 的陷阱，包括在线任务特有的问题，例如预测中的“作弊”效应。我们观察到 BN 的特性给端到端学习造成了重大障碍。然而，使用无 BN 的骨干网络，即便简单的 CNN-LSTM 也能通过采用最大化时序上下文的恰当端到端训练策略，在三个手术工作流基准上击败最先进水平。我们得出结论：认识 BN 的陷阱对于手术任务中有效的端到端学习至关重要。通过在自然视频数据集上复现结果，我们希望我们的见解也能惠及视频学习的其他领域。代码见：\url{https://gitlab.com/nct_tso_public/pitfalls_bn}
引用
@article{arxiv.2203.07976,
title = {On the Pitfalls of Batch Normalization for End-to-End Video Learning: A Study on Surgical Workflow Analysis},
author = {Dominik Rivoir and Isabel Funke and Stefanie Speidel},
journal= {arXiv preprint arXiv:2203.07976},
year = {2024}
}
备注
Accepted at Medical Image Analysis (MedIA). Publication link: https://www.sciencedirect.com/science/article/pii/S1361841524000513