面向空间对齐模态的输入丢弃
计算机视觉与模式识别
2020-05-22 v2 机器学习
图像与视频处理
摘要
包含颜色、深度和热属性等多模态的计算机视觉数据集现已普遍可得，并有助于解决广泛的挑战性任务。然而，在许多场景中无法部署多传感器头。因此许多实用方案倾向于基于更简单的传感器，主要出于成本、简洁与鲁棒性考虑。本文中，我们提出一种训练方法，以利用数据集中这些额外的模态，即便测试时并不可用。通过假设模态间具有强空间相关性，我们提出输入丢弃（Input Dropout），一种在训练时随机隐藏一个或多个输入模态、而测试时仅使用标准（如 RGB）模态的简单技术。我们证明输入丢弃可平凡地与现有深度卷积架构结合，并提升其在去雾、6-DOF 物体跟踪、行人检测与物体分类等广泛计算机视觉任务上的性能。
引用
@article{arxiv.2002.02852,
title = {Input Dropout for Spatially Aligned Modalities},
author = {Sébastien de Blois and Mathieu Garon and Christian Gagné and Jean-François Lalonde},
journal= {arXiv preprint arXiv:2002.02852},
year = {2020}
}
备注
Accepted in ICIP 2020. Personal use of this material is permitted. Permission from IEEE must be obtained for all other uses, in any current or future media, including reprinting/republishing this material for advertising or promotional purposes, creating new collective works, for resale or redistribution to servers or lists, or reuse of any copyrighted component of this work in other works