潜游：一种用于大型视听档案交互式与偶发性发现的替代界面
多媒体
2023-10-10 v1 人机交互
摘要
视听（AV）档案对于整体保存过去具有不可估量的价值。与其他形式不同，AV 档案可能难以探索。这不仅因为其复杂的模态与庞大数量，也因为除关键词搜索外缺乏合适的界面。近期计算机科学中文本到视频检索任务的兴起，为更自然且语义化地访问 AV 内容打开了大门，能够将自然语言描述性句子映射到匹配视频。然而此类模型的应用鲜有见诸。本工作的贡献有三方面。首先，与 RTS（Télévision Suisse Romande）合作，我们识别了真实档案中实现此类模型的关键障碍。我们构建了一个将原始档案视频编码为文本到视频特征向量的可用流水线。其次，我们设计并验证了一种使用原模型不支持的富含情感描述来编码与检索视频的方法。第三，我们基于前述视频编码提出了一种用于沉浸式与交互式探索 AV 档案的潜空间初始原型。
引用
@article{arxiv.2310.05835,
title = {Latent Wander: an Alternative Interface for Interactive and Serendipitous Discovery of Large AV Archives},
author = {Yuchen Yang and Linyida Zhang},
journal= {arXiv preprint arXiv:2310.05835},
year = {2023}
}