利用随机加权特征网络表示先验知识用于视觉关系检测
计算机视觉与模式识别
2021-12-23 v2 机器学习
摘要
Hong和Pavlic（2021）提出的单隐层随机加权特征网络（RWFN）是作为神经张量网络方法在关系学习任务中的替代方案而开发的。其相对较小的规模结合两种随机输入投影——一种受昆虫大脑启发的输入表示和随机傅里叶特征——使其能以较低的训练成本实现关系学习的丰富表达能力。特别是，当Hong和Pavlic将RWFN与逻辑张量网络（LTN）用于语义图像解释（SII）任务以从图像中提取结构化语义描述时，他们表明RWFN对两种隐式随机表示的整合能更好地捕捉输入间的关系，且训练过程更快，尽管其使用的可学习参数远少。在本文中，我们使用RWFN执行视觉关系检测（VRD）任务，这是更具挑战性的SII任务。我们采用一种零样本学习方法与RWFN结合，该方法可利用与其他已见关系的相似性以及背景知识——以主体、关系和客体之间的逻辑约束表示——来获得预测训练集中未出现三元组的能力。在视觉关系数据集上比较RWFN与LTN（领先的统计关系学习框架之一）性能的实验表明，RWFN在谓词检测任务上优于LTN，同时使用的可适应参数更少（比例1:56）。此外，由RWFN表示的背景知识可用于缓解训练集的不完整性，尽管RWFN的空间复杂度远小于LTN（比例1:27）。
引用
@article{arxiv.2111.10686,
title = {Representing Prior Knowledge Using Randomly, Weighted Feature Networks for Visual Relationship Detection},
author = {Jinyung Hong and Theodore P. Pavlic},
journal= {arXiv preprint arXiv:2111.10686},
year = {2021}
}
备注
9 pages, 2 figures, Accepted to CLeaR2022 at AAAI2022