面向可靠教室 AI 的神经符号多模态推理

教室 AI 正在从低层感知迈向对参与者参与度、困惑、协作和教学质量等高层判断的快速扩张。然而，教室是多模态视觉中最困难的真实场景之一：它们是多方参与、噪声环境、隐私敏感、教育风格多样且常常是多语言的。在本文中，我们认为教室 AI 应被视为一个关键领域，除非预测伴随可验证证据、校准不确定性和明确的部署警戒线，否则 raw 预测准确率不足够。我们引入 NSCR，一个神经符号框架，将教室分析分解为四个层次：感知 grounding、符号抽象、可执行推理和治理。NSCR 采用最近的符号事实提取和可验证代码生成思想应用于多模态教育场景，使教室观察从视频、音频、ASR 和上下文元数据转换为类型化事实，然后通过可执行规则、程序和政策约束进行组合。除了系统设计之外，我们贡献了一个围绕五个任务组织的基准和评估协议：教室状态推断、话语关联事件链接、时序早期警报、协作分析和多语言教室推理。我们进一步指定了以 abstention、calibration、robustness、construct alignment 和 human usefulness 为中心的可靠性指标。本文不报告新的经验结果；其贡献是一个具体的框架和评估议程，旨在支持更具解释性、隐私意识和教育背景的多模态教室 AI。