Team I2R-VI-FF关于EPIC-KITCHENS VISOR手部物体分割挑战赛2023的技术报告
计算机视觉与模式识别
2023-11-01 v1
摘要
在本报告中，我们介绍了针对EPIC-KITCHENS VISOR手部物体分割挑战赛的方法，该挑战赛关注于以单帧作为输入时估计手与物体之间的关系。EPIC-KITCHENS VISOR数据集提供了像素级标注，并作为第一视角视频中手与主动物体分割的基准。我们的方法结合了基线方法即基于点的渲染（PointRend）与Segment Anything Model（SAM），旨在提升手与物体分割结果的精度，同时尽量减少漏检情况。我们利用从基线方法获得的精确手部分割图来提取更精确的手部及接触物体片段。我们使用SAM提供的类无关分割，并施加特定手工约束以改进结果。在基线模型漏检手或物体的情况下，我们在训练集上重新训练了一个物体检测器以提升检测精度。检测到的手与接触物体边界框随后被用作提示，从SAM的输出中提取各自的片段。通过有效结合现有方法的优势并应用我们的改进，我们的提交在VISOR HOS挑战赛的评估标准上取得了第一名。
引用
@article{arxiv.2310.20120,
title = {Team I2R-VI-FF Technical Report on EPIC-KITCHENS VISOR Hand Object Segmentation Challenge 2023},
author = {Fen Fang and Yi Cheng and Ying Sun and Qianli Xu},
journal= {arXiv preprint arXiv:2310.20120},
year = {2023}
}