基于深度学习与合成数据的食物实例分割
计算机视觉与模式识别
2021-07-21 v2 人工智能
摘要
在利用深度神经网络对图像中的食物进行智能分割以用于饮食管理的过程中,网络训练的数据采集与标注十分重要但耗时费力。为解决数据采集与标注的困难,本文提出一种通过合成数据应用于真实世界的食物分割方法。为在饮食辅助机械臂等医疗健康机器人系统上实现食物分割,我们使用开源 3D 图形软件 Blender 生成将多个物体置于餐盘上的合成数据,并训练 Mask R-CNN 进行实例分割。此外,我们搭建了数据采集系统,并在真实世界食物数据上验证分割模型。结果表明,在真实世界数据集上,仅用合成数据训练的模型能以 52.2% 的 mask AP@all 分割未训练过的食物实例,且在微调后相比从头训练的模型提升 +6.4%p。此外,我们还在公开数据集上验证了方法的可行性及性能提升,以进行公平分析。我们的代码与预训练权重发布于:https://github.com/gist-ailab/Food-Instance-Segmentation
引用
@article{arxiv.2107.07191,
title = {Deep Learning based Food Instance Segmentation using Synthetic Data},
author = {D. Park and J. Lee and J. Lee and K. Lee},
journal= {arXiv preprint arXiv:2107.07191},
year = {2021}
}
备注
Accepted by UR2021(Ubiquitous Robots 2021) conference