基于混合专家的多模态异常检测
机器人学
2025-06-25 v1
摘要
随着机器人在越来越多应用领域的部署，针对机器人操作中出现的异常进行鲁棒的多模态异常检测变得越来越重要。在机器人操作中，异常通常源于 (1) 机器人驱动的异常，由于任务模型不足或硬件限制；以及 (2) 环境驱动的异常，由动态环境变化或外部干扰引起。传统的异常检测方法要么关注前者，通过对关节信号进行低层统计建模；要么关注后者，通过深度学习对视觉环境观测进行检测，两者的计算和训练数据要求不同。为了有效地捕捉来自两个来源的异常，我们提出一种混合专家框架，集成了用于环境监控的视觉-语言模型和用于跟踪交互力和机器人运动偏差的高斯混合回归检测器。我们引入一种基于置信度的融合机制，动态选择每种情况最可靠的检测器。在使用两个机器人系统进行家庭和工业任务的评估中，我们的方法在异常检测延迟降低 60% 的同时，显著优于单个检测器的帧级异常检测性能。
引用
@article{arxiv.2506.19077,
title = {Multimodal Anomaly Detection with a Mixture-of-Experts},
author = {Christoph Willibald and Daniel Sliwowski and Dongheui Lee},
journal= {arXiv preprint arXiv:2506.19077},
year = {2025}
}
备注
8 pages, 5 figures, 1 table, the paper has been accepted for publication in the Proceedings of the 2025 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS 2025)