Families In Wild 多媒体：用于亲属关系识别的多模态数据库
计算机视觉与模式识别
2021-10-05 v6
摘要
亲属关系作为一种可在媒体中检测的软生物特征，对无数用例至关重要。尽管检测亲属关系困难，使用静态图像的年度数据挑战持续提升了性能并吸引了新研究者。如今，系统达到十年前不可预见的表现水平，接近可实际部署的可接受性能。像其他生物特征任务一样，我们预期系统可从其他模态获得帮助。我们假设向仅有静态图像的 FIW 添加模态将改善性能。因此，为缩小研究与现实间的差距并增强亲属关系识别系统的能力，我们用多媒体（MM）数据（即视频、音频与文本描述）扩展 FIW。具体而言，我们引入首个公开可用的多任务 MM 亲属关系数据集。为构建 FIW MM，我们开发了自动收集、标注与准备数据的机制，仅需最少人工输入且无财务成本。所提出的 MM 语料库使问题陈述可采用更现实的基于模板的协议。我们展示所有基准在添加模态后的显著提升。结果突出了边缘案例以启发未来不同改进方向的研究。FIW MM 提供了增加自动化系统检测 MM 中亲属关系潜力所需的数据，也允许不同领域的专家以新颖方式协作。
引用
@article{arxiv.2007.14509,
title = {Families In Wild Multimedia: A Multimodal Database for Recognizing Kinship},
author = {Joseph P. Robinson and Zaid Khan and Yu Yin and Ming Shao and Yun Fu},
journal= {arXiv preprint arXiv:2007.14509},
year = {2021}
}