X-Capture：一种面向多感官学习的开源便携式设备
计算机视觉与模式识别
2025-04-04 v1 机器人学
摘要
通过多感官模态理解对象是人类感知的基本能力，使跨感官集成成为可能，并提供更丰富的理解。对于 AI 和机器人系统而言，复制这一能力至关重要，获取多样化、高质量的多感官数据。现有数据集常受限于受控环境、模拟对象或受限的模态组合。我们引入 X-Capture，这是一个开源、便携且成本效益高的设备，能够捕获相关的 RGBD 图像、触觉读数和冲击音频。X-Capture 的构建成本低于 1000 美元，仅需消费级工具即可完成组装。使用 X-Capture，我们策划了一个包含 500 个日常物品、总计 3000 个数据的样本数据集，涵盖丰富性和多样性。我们的实验表明，这些数据的数量和感官广度对于对象中心任务（如跨感官检索和重建）的预训练和微调具有重要价值。X-Capture 为推动 AI 中的类人感官表示，强调可扩展性、可访问性和现实应用性奠定了基础。
引用
@article{arxiv.2504.02318,
title = {X-Capture: An Open-Source Portable Device for Multi-Sensory Learning},
author = {Samuel Clarke and Suzannah Wistreich and Yanjie Ze and Jiajun Wu},
journal= {arXiv preprint arXiv:2504.02318},
year = {2025}
}
备注
Project page: https://xcapture.github.io/