KE-RCNN：将基于知识的推理统一到部件级属性解析中
计算机视觉与模式识别
2022-06-22 v1
摘要
部件级属性解析是一项基础但具有挑战性的任务，它需要区域级的视觉理解以提供身体部件的可解释细节。大多数现有方法通过向两阶段检测器添加带有属性预测头的区域卷积神经网络（RCNN）来解决此问题，其中身体部件的属性从局部部件框中识别。然而，仅含有限视觉线索（即仅部件外观）的局部部件框导致不理想的解析结果，因为身体部件的属性高度依赖于它们之间的综合关系。在本文中，我们提出一种知识嵌入RCNN（KE-RCNN），通过利用丰富的知识来识别属性，包括隐式知识（例如，衬衫的“臀部以上”属性需要衬衫-臀部的视觉/几何关系）和显式知识（例如，“短裤”部件不能有“连帽衫”或“衬里”属性）。具体而言，KE-RCNN由两个新颖组件组成，即隐式知识编码器（IK-En）和显式知识解码器（EK-De）。前者旨在通过将部件-部件关系上下文编码到部件框中来增强部件级表示，后者提出在关于部件-属性关系的先验知识引导下解码属性。以此方式，KE-RCNN是即插即用的，可集成到任何两阶段检测器中，例如Attribute-RCNN、Cascade-RCNN、基于HRNet的RCNN和基于SwinTransformer的RCNN。在两个具有挑战性的基准（例如Fashionpedia和Kinetics-TPS）上进行的大量实验证明了KE-RCNN的有效性和泛化性。特别地，它比所有现有方法取得更高提升，在Fashionpedia上达到约3%的AP，在Kinetics-TPS上达到约4%的Acc。
引用
@article{arxiv.2206.10146,
title = {KE-RCNN: Unifying Knowledge based Reasoning into Part-level Attribute Parsing},
author = {Xuanhan Wang and Jingkuan Song and Xiaojia Chen and Lechao Cheng and Lianli Gao and Heng Tao Shen},
journal= {arXiv preprint arXiv:2206.10146},
year = {2022}
}