基于图神经网络学习家具兼容性
计算机视觉与模式识别
2020-04-17 v1 机器学习
摘要
我们提出一种图神经网络（GNN）方法，用于从图像中预测一组家具物品的风格式兼容性。尽管大多数现有结果基于评估物品间两两兼容性的连体网络，所提出的 GNN 架构利用了物品组之间的关联信息。我们提出两种 GNN 模型，均包含一个提取每幅图像特征表示的深度 CNN、一个对集合中家具物品间交互建模的门控循环单元（GRU）网络，以及一个计算兼容性分数的聚合函数。在第一种模型中，引入了广义对比损失函数，以促使属于同一家具集合的物品生成聚类的嵌入；同时，为限制模型复杂度并允许在较小数据集上训练，GRU 中节点间的边函数与聚合函数被固定。在第二种模型中，边函数与聚合函数直接从数据中学习。我们在 Bonn 与 Singapore 家具数据集上展示了兼容性预测与“填空”任务的当前最优精度。我们进一步引入一个名为 Target Furniture Collections 的新数据集，包含由造型师手工筛选的超过 6000 件家具，构成 1632 个兼容集合。我们在该数据集上也展示了更优的预测精度。
引用
@article{arxiv.2004.07268,
title = {Learning Furniture Compatibility with Graph Neural Networks},
author = {Luisa F. Polania and Mauricio Flores and Yiran Li and Matthew Nokleby},
journal= {arXiv preprint arXiv:2004.07268},
year = {2020}
}
备注
Accepted for publication at CVPR Workshops