AmadeusGPT：用于交互式动物行为分析的自然语言接口

量化与分析动物行为的过程，需要将它们自然发生的描述性动作语言翻译为机器可读代码。然而，若无对动物行为的深刻理解和机器学习技术知识，为行为分析编写代码往往具有挑战性。为缩小这一差距，我们引入 AmadeusGPT：一个将行为的自然语言描述转化为机器可执行代码的自然语言接口。诸如 GPT3.5 和 GPT4 等大语言模型 (LLM) 支持基于语言的交互式查询，可能非常适用于交互式行为分析。然而，这些 LLM 的理解能力受限于上下文窗口大小，使其无法记住久远的对话。为克服上下文窗口限制，我们实现了一种新颖的双记忆机制，利用符号作为上下文指针进行检索与保存，以允许短期记忆与长期记忆之间的通信。具体而言，用户直接使用基于语言的行为定义，我们增强的 GPT 基于核心 AmadeusGPT API 开发代码，该 API 包含机器学习、计算机视觉、时空推理与可视化模块。用户随后可交互式地精炼结果，并按需无缝添加新行为模块。我们对 AmadeusGPT 进行基准测试，表明其能在 MABE 2022 行为挑战任务上取得最先进 (SOTA) 性能。注意，终端用户无需编写任何代码即可实现此目标。因此，总体而言 AmadeusGPT 提出了一种将深层生物学知识、大语言模型与核心计算机视觉模块融合为更自然智能系统的新方式。代码与演示见：https://github.com/AdaptiveMotorControlLab/AmadeusGPT。