弥合人类行为分析中的差距：一种合成三模态数据的流水线
计算机视觉与模式识别
2024-08-06 v1 人工智能
机器学习
摘要
在普适机器学习中，尤其是在人类行为分析（HBA）领域，RGB因其可访问性和丰富的信息而成为主要模态。然而，与其优势相伴的是挑战，包括对光照条件的敏感性和隐私问题。克服这些脆弱性的一种可能性是借助不同的模态。例如，热成像特别擅长突出人体形态，而深度则增加了关键的上下文层。尽管它们的好处众所周知，但整合这些模态的HBA特定数据集却寥寥无几。为解决这一短缺问题，我们的研究引入了一种新颖的生成技术，用于创建以人为中心的三模态（即RGB、热成像和深度）数据集。该技术利用从RGB图像中提取的人体分割掩码，结合自动获取的热成像和深度背景。利用这两种成分，我们通过条件图像到图像翻译，从现有的RGB数据合成深度和热成像对应物。通过采用这种方法，我们生成了三模态数据，可用于训练适用于数据有限、光照条件差或隐私敏感区域的模型。
引用
@article{arxiv.2402.01537,
title = {Closing the Gap in Human Behavior Analysis: A Pipeline for Synthesizing Trimodal Data},
author = {Christian Stippel and Thomas Heitzinger and Rafael Sterzinger and Martin Kampel},
journal= {arXiv preprint arXiv:2402.01537},
year = {2024}
}