通过动作-互动潜在空间的联合学习实现 cattle Interaction Detection

本文提出一种方法和应用，用于自动检测单张图像中 grazing cattle 之间的行为互动，这对于智能牧场管理至关重要，例如用于检测发情。虽然人类互动检测研究活跃，但牛只互动检测面临挑战， Specifically 缺乏包含互动的全面行为数据集，因为 grazing cattle 的互动罕见。因此，我们提出CattleAct，一种通过将互动分解为单个牛只动作的组合来实现互动检测的数据高效方法。具体而言，我们首先从大规模牛只动作数据集中学习动作潜在空间。然后，通过对预训练的潜在空间进行微调来嵌入稀有互动，从而构建动作和互动的统一潜在空间。在所提出的方法之上，我们开发了一个实际的工作系统集成了视频和GPS输入。在商业规模的牧场上实验表明，我们的方法比基线方法实现了准确的互动检测。我们的实现可在 https://github.com/rakawanegan/CattleAct 查看。