FalconApp：通过自动标注合成数据实现端到端感知的 iPhone 快速部署
机器人学
2026-04-30 v1
摘要
可靠的机器人感知依赖于大规模标注数据，然而现实世界数据集依赖繁重的人工标注且耗时巨大。我们提出了 FalconApp，一款具备端到端前后端流水线的 iPhone 应用，能将对刚性物体的短暂手持式捕获转化为用于掩码检测与 6-DoF 位姿估计的感知模块。我们的核心贡献是一条快速移动部署流水线，辅以逼真的自动标注工作流：从用户捕获的物体视频中，FalconApp 重建出可编辑的 GSplat 资产，将其与多样化的逼真背景合成，渲染出带有真值掩码和位姿的合成图像，训练感知模块，并将其部署回 iPhone 前端。在五种具有不同几何形状和外观的刚性物体上的实验表明，FalconApp 平均每个物体仅需约 20 分钟的合成数据生成与训练即可产出可用的感知模型，在 iPhone 上的端到端设备端延迟约为 30 ms，并且在仿真和真实世界评估中，4/5 个物体的整体位姿精度均优于 PnP 基线。
关键词
引用
@article{arxiv.2604.25949,
title = {FalconApp: Rapid iPhone Deployment of End-to-End Perception via Automatically Labeled Synthetic Data},
author = {Yan Miao and Will Shen and Sayan Mitra},
journal= {arXiv preprint arXiv:2604.25949},
year = {2026}
}