迈向视觉分类法扩展
计算机视觉与模式识别
2023-09-13 v1 计算与语言
摘要
分类法扩展任务对于将不断增加的新概念组织进现有分类法至关重要。多数现有方法仅专注于使用文本语义，导致无法泛化至未见术语以及出现“原型上位词问题”。本文中，我们提出视觉分类法扩展（VTE），将视觉特征引入分类法扩展任务。我们提出文本上位关系学习任务与视觉原型学习任务，以聚类文本与视觉语义。除各模态上的任务外，我们引入超原型约束，整合文本与视觉语义以产生细粒度视觉语义。我们的方法在两个数据集上评估，取得了引人注目的结果。具体而言，在中文分类法数据集上，我们的方法准确率显著提升8.75%。此外，我们的方法在中文分类法数据集上表现优于ChatGPT。
引用
@article{arxiv.2309.06105,
title = {Towards Visual Taxonomy Expansion},
author = {Tinghui Zhu and Jingping Liu and Jiaqing Liang and Haiyun Jiang and Yanghua Xiao and Zongyu Wang and Rui Xie and Yunsen Xian},
journal= {arXiv preprint arXiv:2309.06105},
year = {2023}
}
备注
ACMMM accepted paper