Actron3D：从视频中学习可迁移的机器人操纵神经功能
机器人学
2025-10-16 v1
摘要
我们提出了Actron3D框架，使机器人能够仅通过少量单目、未校准、仅RGB的人类视频获取可迁移的6自由度操纵技能。其核心是神经可 affordance 函数 (Neural Affordance Function)，这是一种紧凑的对象中心表示，提炼出来自多样未校准视频中可操作线索——几何、视觉外观和可 affordance 信息——形成轻量级神经网络，构成操纵技能的内存库。在部署时，我们采用管道方法检索相关的可 affordance 函数，并通过粗到细优化将精确的6自由度操纵策略迁移到模型中，通过持续查询编码在神经函数中的多模态特征来实现。实验在模拟和真实环境中均表明，Actron3D显著优于先前方法，在13项任务中实现了平均成功率提升14.9个百分点，而仅需每个任务2-3个演示视频。
引用
@article{arxiv.2510.12971,
title = {Actron3D: Learning Actionable Neural Functions from Videos for Transferable Robotic Manipulation},
author = {Anran Zhang and Hanzhi Chen and Yannick Burkhardt and Yao Zhong and Johannes Betz and Helen Oleynikova and Stefan Leutenegger},
journal= {arXiv preprint arXiv:2510.12971},
year = {2025}
}
备注
8 pages, 5 figures