利用聚合视场实现低维到高维模态幻觉
计算机视觉与模式识别
2020-07-14 v1
摘要
现实世界机器人系统处理来自多种模态的数据，尤其在导航与识别等任务中。当因传感器故障或恶劣环境等因素导致一个或多个模态不可用时，这些系统的性能可能急剧下降。此处，我们认为模态幻觉是确保模态持续可用从而减轻不良后果的一种有效途径。尽管从信息更丰富的模态（例如从 RGB 到深度）幻觉数据已被广泛研究，我们探究了更具挑战性的低到高模态幻觉，其在机器人与自主系统中有有趣用例。我们提出一种新颖的幻觉架构，聚合局部邻域多个视场的信息，以从现存模态中恢复丢失信息。该过程通过捕捉数据模态间的非线性映射实现，所学映射用于辅助现存模态，以缓解涉及模态丢失的恶劣场景给系统带来的风险。我们还在 UWRGBD 与 NYUD 数据集上进行了大量分类与分割实验，证明幻觉缓解了模态丢失的负面影响。实现与模型：https://github.com/kausic94/Hallucination
引用
@article{arxiv.2007.06166,
title = {Low to High Dimensional Modality Hallucination using Aggregated Fields of View},
author = {Kausic Gunasekar and Qiang Qiu and Yezhou Yang},
journal= {arXiv preprint arXiv:2007.06166},
year = {2020}
}