从部署日志中无监督发现失效分类学
机器人学
2026-03-10 v3
摘要
随着机器人系统日益集成到实际环境中，从自主车辆到家庭助手，它们不可避免地会遇到多样且非结构化的场景，从而导致失效。虽然这些失效会带来安全和可靠性挑战，但也提供了丰富的感知数据用于提高系统鲁棒性。然而，手动分析大规模失效数据集是不可行的且无法扩展。本文引入了从大量原始失效日志中无监督发现失效分类学的问题，旨在直接从感知轨迹中获得语义连贯且可操作的失效模式。我们的 方法首先利用视觉语言推理从多模态输入中推断结构化的失效解释，然后在所得的语义推理空间中进行聚类，实现对重复失效模式的发现，而不仅仅是单个情节级别的描述。我们在机器人操作、室内导航和自动驾驶领域进行了评估，证明发现的分类学是一致的、可解释的，并且在实际中具有实用性。特别是，我们展示了结构化的失效分类学可用于指导针对性数据收集以进行离线策略细化，并增强运行时失效监控系统。网站：https://mllm-failure-clustering.github.io/
引用
@article{arxiv.2506.06570,
title = {Unsupervised Discovery of Failure Taxonomies from Deployment Logs},
author = {Aryaman Gupta and Yusuf Umut Ciftci and Somil Bansal},
journal= {arXiv preprint arXiv:2506.06570},
year = {2026}
}