用于类无关RGB-D视频分割的可配置具身数据生成
系统与控制
2024-10-18 v1 硬件体系结构
系统与控制
摘要
本文提出了一种生成大规模数据集的方法，以改进跨不同形态机器人的类无关视频分割。具体而言，我们考虑这样一个问题：如果机器人具身性被纳入数据生成过程，那么在通用分割数据上训练的视频分割模型是否可能对特定机器人平台更有效。为了回答这个问题，我们构建了一个流程，利用3D重建（例如来自HM3DSem）生成可根据机器人具身性（例如传感器类型、传感器位置和照明源）配置的分割视频。我们由此生成了一个大规模RGB-D视频全景分割数据集（MVPd），用于与基础模型和视频分割模型进行广泛基准测试，并支持以具身性为重点的视频分割研究。我们的实验结果表明，使用MVPd进行微调可以在将基础模型迁移到某些机器人具身性（例如特定相机位置）时带来性能提升。这些实验还表明，使用3D模态（深度图像和相机位姿）可以提高视频分割的准确性和一致性。项目网页见 https://topipari.com/projects/MVPd
关键词
引用
@article{arxiv.2410.12990,
title = {Low-Power Encoding for PAM-3 DRAM Bus},
author = {Jonghyeon Nam and Jaeduk Han and Hokeun Kim},
journal= {arXiv preprint arXiv:2410.12990},
year = {2024}
}
备注
To appear in Proceedings of the 20th International Conference on Synthesis, Modeling, Analysis and Simulation Methods, and Applications to Circuit Design (SMACD 2024)