视频问答中领域无关知识的迁移
计算机视觉与模式识别
2021-10-27 v1 人工智能
摘要
视频问答（VideoQA）旨在基于相关视频片段回答给定问题。当前可用的大规模数据集已使得将VideoQA表述为视觉与语言信息的联合理解成为可能。然而，这一训练过程代价高昂，且仍不及人类表现。本文通过引入领域无关知识与领域特定知识，研究了一种迁移学习方法。首先，我们提出了一种新颖的迁移学习框架，以领域无关知识为媒介对预训练模型进行微调。其次，我们构建了一个包含21,412个人工生成问答样本的新VideoQA数据集，用于知识的可比迁移。实验表明：(i) 领域无关知识是可迁移的；(ii) 我们提出的迁移学习框架能有效提升VideoQA性能。
引用
@article{arxiv.2110.13395,
title = {Transferring Domain-Agnostic Knowledge in Video Question Answering},
author = {Tianran Wu and Noa Garcia and Mayu Otani and Chenhui Chu and Yuta Nakashima and Haruo Takemura},
journal= {arXiv preprint arXiv:2110.13395},
year = {2021}
}