面向美妆产品发现与妆容虚拟试妆增强的自动化材质属性提取
计算机视觉与模式识别
2023-12-04 v1 人工智能
摘要
市面上琳琅满目的化妆品常常使寻找与期望属性完美匹配的产品变得颇具挑战。需要一种智能化的产品发现方法来提升化妆品购物体验,使其更加便捷和令人满意。然而,实现准确且高效的产品发现需要提取诸如颜色与妆效类型等详细属性。我们的工作提出了一条自动化流水线,利用多个定制化的机器学习模型,从化妆品产品图像中提取关键的材质属性。该流水线具有通用性,能够处理各类化妆品。为了展示其效能,我们在眼影产品(包括单色与多色眼影)上开展了大量实验——眼影是一种因形状、颜色与妆效类型丰富多样而极具挑战性的化妆品。此外,我们通过将该方法成功扩展到口红、粉底等其他化妆品类别,展示了其广泛的适用性,从而彰显了其在不同美妆产品间的适应性与有效性。同时,我们开展了消融实验,以证明我们的机器学习流水线在可靠性方面优于人工标注方法。我们所提出的方法在跨品类产品发现中展现出显著效果,特别是在推荐与指定服装完美匹配的化妆品方面。最后,我们还展示了这些材质属性在实现虚拟试妆体验方面的应用,从而使化妆品购物体验显著更具吸引力。
引用
@article{arxiv.2312.00766,
title = {Automated Material Properties Extraction For Enhanced Beauty Product Discovery and Makeup Virtual Try-on},
author = {Fatemeh Taheri Dezaki and Himanshu Arora and Rahul Suresh and Amin Banitalebi-Dehkordi},
journal= {arXiv preprint arXiv:2312.00766},
year = {2023}
}
备注
Presented in Fifth Workshop on Recommender Systems in Fashion(fashionxrecsys) of ACM Conference on Recommender Systems