利用基础模型学习半流体可变形物体的形状
机器人学
2024-11-27 v1 人工智能
计算机视觉与模式识别
图形学
摘要
可变形物体操作的一个难点在于其表征和用于目的检测的代表性关键点的识别。过去十年，研究者对非流体可变形物体（如衣物和绳索）的表征和操控表现出浓厚兴趣。尽管针对该领域提出了多种方法，但研究者始终面临着通过图像获取物体像素级信息的需求，以提取相关信息。这通常通过训练在手动标记数据上进行的分割网络来实现。本文我们通过不同的管道来解决焊接池特征表征以定义稳定特征以服务于后续运动控制目标的问题。我们实现了两种方法：第一种方法通过使用教师-学生框架训练的生成模型来表征流体可变形物体；第二种方法则利用基础模型作为教师来表征图像中的物体，无需任何预训练和数据集。从基础模型向更小的生成模型进行知识蒸馏的性能在可变形物体表征方面显示出突出的结果。学生网络能够以 13.4 像素的误差获取物体的关键点。教师网络则基于其检索物体掩码所表示的像素级信息进行评估，平均交并比（mIoU）为 75.26%。
引用
@article{arxiv.2411.16802,
title = {Leveraging Foundation Models To learn the shape of semi-fluid deformable objects},
author = {Omar El Assal and Carlos M. Mateo and Sebastien Ciron and David Fofi},
journal= {arXiv preprint arXiv:2411.16802},
year = {2024}
}