PanGEA:全景图环境标注工具包
计算机视觉与模式识别
2021-03-24 v1 人工智能
计算与语言
摘要
PanGEA,即全景图环境标注(Panoramic Graph Environment Annotation)工具包,是一个用于在照片级真实感3D环境中收集语音与文本标注的轻量级工具包。PanGEA将标注者沉浸于基于网络的仿真中,并允许他们在说话和/或聆听时轻松移动。它包括数据库与云存储集成,以及用于自动将录制的语音与人工转录和标注者的虚拟位姿对齐的实用工具。PanGEA开箱即用地支持两项任务——收集导航指令与遵循导航指令——并且可轻松适用于标注步行游览、寻找并标记地标或物体以及类似任务。我们分享了在一项20,000小时的标注工作中使用PanGEA收集Room-Across-Room数据集所习得的最佳实践。我们希望我们的开源标注工具包与见解既能加速未来的数据收集工作,也能激发此类环境可支持的各类具身语言任务的创新。
引用
@article{arxiv.2103.12703,
title = {PanGEA: The Panoramic Graph Environment Annotation Toolkit},
author = {Alexander Ku and Peter Anderson and Jordi Pont-Tuset and Jason Baldridge},
journal= {arXiv preprint arXiv:2103.12703},
year = {2021}
}