通过语义匹配识别歧义相似性条件
计算机视觉与模式识别
2022-04-11 v1
摘要
图像内部丰富的语义导致其与他人存在歧义关系，即两图像在某一条件下相似而在另一条件下不相似。给定如“飞机”比“火车”更类似于“鸟”的三元组，弱监督条件相似性学习（WS-CSL）学习多个嵌入以匹配语义条件，而无需如“能飞”的显式条件标签。然而，除提供条件外，三元组中的相似性关系是不确定的。例如，一旦条件标签变为“是交通工具”，前述比较便失效。为此，我们引入一种新评估准则：将学习到的嵌入分配至其最优条件后预测比较的正确性，以此衡量 WS-CSL 能如监督模型般覆盖多少潜在语义。此外，我们提出距离诱导语义条件验证网络（DiscoverNet），以“分解—融合”方式刻画实例—实例与三元组—条件关系。为使学习嵌入覆盖全部语义，DiscoverNet 利用集合模块或关于三元组与条件对应关系的额外正则化器。DiscoverNet 在 UT-Zappos-50k 与 Celeb-A 等基准上针对不同准则取得最先进性能。
引用
@article{arxiv.2204.04053,
title = {Identifying Ambiguous Similarity Conditions via Semantic Matching},
author = {Han-Jia Ye and Yi Shi and De-Chuan Zhan},
journal= {arXiv preprint arXiv:2204.04053},
year = {2022}
}
备注
CVPR2022