面向辅助购物的细粒度商品类别识别

用于改善购物体验的辅助解决方案能够提高人们的生活质量，尤其是视障购物者。我们提出了一个系统，该系统利用在杂货店中用智能手机拍摄的货架图像，视觉识别购物清单上物品的细粒度商品类别。我们的系统由三个组件构成：(a) 我们自动识别产品包装上的有用文本，例如产品名称和品牌，并基于大规模GroceryProducts数据集构建词到商品类别的映射。当用户填写购物清单时，我们自动推断每个输入词的商品类别。(b) 当用户面对货架时，我们执行细粒度商品类别识别。我们发现产品包装上的判别块以区分视觉相似的商品类别，并增加对产品设计持续变化的鲁棒性。(c) 我们通过主动学习持续提升识别精度。我们的实验显示了所提方法对跨域挑战的鲁棒性，以及以最小再训练扩展到不断增加产品数量的可扩展性。