用于未知物体实例分割的均值漂移掩码Transformer
计算机视觉与模式识别
2023-09-25 v3 人工智能
机器学习
机器人学
摘要
从图像中分割未知物体是机器人需要掌握的一项关键感知技能。在机器人操作中，它可以帮助机器人抓取和操作未知物体。均值漂移聚类是一种广泛用于图像分割任务的方法。然而，传统的均值漂移聚类算法不可微，难以将其集成到端到端的神经网络训练框架中。在这项工作中，我们提出了均值漂移掩码Transformer（MSMFormer），一种模拟 von Mises-Fisher (vMF) 均值漂移聚类算法的新Transformer架构，允许特征提取器和聚类进行联合训练与推理。其核心组件是一个超球面注意力机制，在超球面上更新物体查询。为说明我们方法的有效性，我们将 MSMFormer 应用于未知物体实例分割。我们的实验表明，MSMFormer 在未知物体实例分割上取得了与最先进方法相竞争的性能。项目页面、附录、视频和代码可在 https://irvlutd.github.io/MSMFormer 获取。
引用
@article{arxiv.2211.11679,
title = {Mean Shift Mask Transformer for Unseen Object Instance Segmentation},
author = {Yangxiao Lu and Yuqiao Chen and Nicholas Ruozzi and Yu Xiang},
journal= {arXiv preprint arXiv:2211.11679},
year = {2023}
}
备注
Add pixel confidence maps