EMISSOR：一个将多模态交互作为情景记忆与解释进行捕获并基于情境场景本体参照的平台
人机交互
2021-05-19 v1
摘要
我们提出 EMISSOR：一个将多模态交互作为带有显式指称解释的情景体验记录进行捕获、并由此生成情景知识图（eKG）的平台。该平台将多种模态的流作为并行信号进行存储。每个信号被独立地分段并标注以解释。标注最终被映射到 eKG 中的显式实体与关系。由于我们将来自不同模态的信号段 grounding 到相同的实例表示，我们也实现了不同模态之间的相互 grounding。我们的 eKG 的独特之处在于它接受跨模态、跨来源和跨体验的不同解释，并支持对由多模态体验可能产生的冲突信息与不确定性进行推理。EMISSOR 能够在虚拟和真实世界中记录和标注实验、组合数据、评估系统行为及其针对预设目标的性能，同时也对这些情景体验所导致的知识与解释在知识图中的累积进行建模。
引用
@article{arxiv.2105.08388,
title = {EMISSOR: A platform for capturing multimodal interactions as Episodic Memories and Interpretations with Situated Scenario-based Ontological References},
author = {Selene Báez Santamaría and Thomas Baier and Taewoon Kim and Lea Krause and Jaap Kruijt and Piek Vossen},
journal= {arXiv preprint arXiv:2105.08388},
year = {2021}
}
备注
Accepted to MMSR I workshop at IWCS (2021)