机器人自主检测行人：一种对类内变化鲁棒的多模态深度对比学习方法
机器人学
2024-02-15 v2 计算机视觉与模式识别
摘要
在拥挤和/或杂乱的以人为中心的环境（包括医院、长期照护机构、商店与机场）中，机器人检测行人具有挑战性，因为行人可能被其他行人和物体遮挡，并因衣着或姿态变化而变形。光照不足也会导致判别性视觉特征丢失。本文提出一种新颖的多模态行人检测架构，以解决移动机器人在类内变化下的行人检测问题。我们提出一种两阶段训练方法：1）一种我们定义为时间不变多模态对比学习（TimCLR）的独特预训练方法；2）一种多模态 Faster R-CNN（MFRCNN）检测器。TimCLR 通过无监督学习学到对类内变化不变的行人表示。我们的方法独特之处在于，除合成数据增强外，它还从多模态图像序列中的自然变化生成图像对，并对比跨模态特征以在不同模态间迁移不变性。这些预训练特征被 MFRCNN 检测器用于微调及从 RGB-D 图像中检测行人。大量实验验证了我们的深度学习架构在以人为中心的拥挤与杂乱环境中的性能。结果表明，在不同光照条件下检测存在身体遮挡与姿态变形行人时，我们的方法在检测精度上优于现有的单模态与多模态行人检测方法。
引用
@article{arxiv.2203.00187,
title = {Robots Autonomously Detecting People: A Multimodal Deep Contrastive Learning Method Robust to Intraclass Variations},
author = {Angus Fung and Beno Benhabib and Goldie Nejat},
journal= {arXiv preprint arXiv:2203.00187},
year = {2024}
}