LensDFF：面向高效少样本灵巧操作的语言增强稀疏特征蒸馏
机器人学
2025-03-07 v1 机器学习
摘要
从少量演示中学习灵巧操作是面向高级、类人机器人系统的重要但具有挑战性的问题。稠密蒸馏特征场已通过将 2D 视觉基础模型中的丰富语义特征蒸馏到 3D 域中来解决此挑战。然而，它们依赖于神经渲染模型如神经辐射场（NeRF）或高斯渲染，导致计算成本高昂。相比之下，基于稀疏特征场的先前方法要么因多视图依赖和大量训练而效率低下，要么缺乏足够的抓取灵活性。为克服这些限制，我们提出了 Language-ENhanced Sparse Distilled Feature Field（LensDFF），通过我们新颖的语言增强特征融合策略，高效地将视图一致的 2D 特征蒸馏到 3D 点上，从而实现单视图少样本泛化。基于 LensDFF，我们进一步引入了一个少样本灵巧操作框架，将抓取原语整合到演示中，以生成稳定且高度灵巧的抓取。此外，我们提出了一个 real2sim 抓取评估管道，用于高效的抓取评估和超参数调优。通过基于 real2sim 管道的大量仿真实验和真实世界实验，我们的方法在抓取性能方面实现了具竞争力的水平，优于最先进的方法。
引用
@article{arxiv.2503.03890,
title = {LensDFF: Language-enhanced Sparse Feature Distillation for Efficient Few-Shot Dexterous Manipulation},
author = {Qian Feng and David S. Martinez Lema and Jianxiang Feng and Zhaopeng Chen and Alois Knoll},
journal= {arXiv preprint arXiv:2503.03890},
year = {2025}
}
备注
8 pages