利用产品数字孪生训练用于自动零售结算
计算机视觉与模式识别
2023-08-21 v1
摘要
在智能零售中，自动化结算流程十分重要，用户用手轻松将产品经过摄像头即可触发自动产品检测、跟踪与计数。在这一新兴领域，由于缺乏标注训练数据，我们引入了一个由产品三维模型组成的数据集，可通过图形引擎渲染实现快速、灵活且大规模的训练数据生成。在此背景下，我们观察到一种有趣现象：由于用户“亲手操作”的方式，用户行为偏差导致真实结算过程中呈现独特模式。若训练数据未能反映此类模式，其存在将损害训练效果。为解决该用户偏差问题，我们提出一种训练数据优化框架，即使用数字孪生训练（DtTrain）。具体而言，我们利用产品三维模型并优化其渲染视角与光照，生成在视觉上类似于代表性用户图像的数字孪生。这些数字孪生继承产品标签，经增强后构成数字孪生训练集（DT 集）。由于数字孪生各自模拟用户偏差，所得 DT 训练集更好地反映目标场景特征，并使我们能够训练更有效的产品检测与跟踪模型。在我们的实验中，表明 DT 集在计数精度上优于现有数据集合成方法创建的训练集。此外，将 DT 集与伪标注真实结算数据结合可观察到进一步提升。代码见 https://github.com/yorkeyao/Automated-Retail-Checkout。
引用
@article{arxiv.2308.09708,
title = {Training with Product Digital Twins for AutoRetail Checkout},
author = {Yue Yao and Xinyu Tian and Zheng Tang and Sujit Biswas and Huan Lei and Tom Gedeon and Liang Zheng},
journal= {arXiv preprint arXiv:2308.09708},
year = {2023}
}