面向传感器数据的多出口架构一致性训练

近年来深度神经网络规模不断增大，推理所需计算资源日益增加，导致成本加剧，并为在电池及其他资源受限的设备上部署实时应用留下极少空间。多出口架构是一类深度神经网络，其在模型不同深度处穿插若干输出（或出口）层。它们通过从早期出口产生预测，为改善模型运行的计算时间与能量利用提供了合理途径。本工作中，我们提出一种新颖且架构无关的多出口架构鲁棒训练方法，称为一致性出口训练。该方法核心在于基于一致性的目标函数，以强制模型对干净输入与扰动输入预测的不变性。我们利用弱监督将模型输出与一致性训练对齐，并以多任务学习的方式联合优化网络中各出口上的双重损失。我们的技术使出口层在面对不确定性增加时具备更好的泛化能力，从而带来更优的质量-效率权衡。我们通过对涉及传感器数据的具有挑战性学习任务的广泛评估表明，我们的方法使样本能够更早退出，且检测率更高，而无需执行深度模型中的所有层。