End2You——帝国理工学院端到端学习多模态画像工具包
计算机视觉与模式识别
2018-02-06 v1
摘要
我们介绍 End2You——帝国理工学院基于端到端深度学习的多模态画像工具包。End2You 是一个用 Python 实现、基于 Tensorflow 的开源工具包。它支持以端到端方式（即使用原始输入）训练和评估模型。它支持来自原始音频、视觉、生理或其他类型信息或其组合的输入，输出可以是任意表示形式，用于分类或回归任务。据我们所知，这是首个在单模态或多模态情况下提供通用端到端学习画像能力的工具包。为测试我们的工具包，我们使用了 AVEC 2016 挑战赛中使用的 RECOLA 数据库。实验结果表明，尽管不需要类专家的特征表示，而是从数据中“端到端”自学这些特征，End2You 仍能提供与最先进方法相当的结果。
引用
@article{arxiv.1802.01115,
title = {End2You -- The Imperial Toolkit for Multimodal Profiling by End-to-End Learning},
author = {Panagiotis Tzirakis and Stefanos Zafeiriou and Bjorn W. Schuller},
journal= {arXiv preprint arXiv:1802.01115},
year = {2018}
}