利用图像与词语深度网络通过体型识别人物

人物识别的一些常见且重要的应用发生在人脸不可见或分辨率不足以发挥作用的距离与视角下。我们研究将体型作为一种跨距离与视角变化的生物特征。我们提出了一种将标准物体分类网络与基于身体语言（基于词语）描述的特征表示相结合的方法。我们比较了有语言训练和没有语言训练的算法在从大范围距离/视角（近距离、100m、200m、270m、300m、370m、400m、490m、500m、600m，以及由无人机[UAV]拍摄的俯仰角升高图像）捕获的图像中通过体型识别人物的能力。在开放集测试中，以身份匹配排序和错误接受错误衡量的准确率出奇地好。对于身份排序，语言模型在近距离图像上更准确，而非语言模型在中等距离上表现更好。语言与非语言嵌入的融合在所有距离（最远距除外）上提升了性能。尽管非语言模型在所有距离上产生更少的错误接受，但语言与非语言模型的融合减少了所有（无人机图像除外）的错误接受。我们得出结论，身体的语言与非语言表示可提供互补的身份信息，从而改善相关应用中的识别。