面向多域智能建模的动态代理AI专家分析系统架构

在当今以人工智能为驱动的世界中，现代系统需要与来自不同背景和技能水平的人们进行交互。对于人机交互而言，系统必须 awareness（意识）到情境和用户 expertise（expertise）。本研究提出了一个基于 LLaMA v3.1（8B）的代理AI分析师，该分析师将自然语言响应分类为四个水平：初学者、基本、高级和专家。该系统采用模块化分层架构，包含文本预处理、评分、聚合和分类组件。对该系统进行了两个阶段的评估：一个静态阶段使用来自 82 名参与者的预录制访谈记录，以及一个动态阶段对 402 场由代理AI访谈员进行的现场访谈进行了评估。在两个阶段中，都将参与者的自我评估与分析师的预测进行了比较。在动态阶段，expertise是在每次回应后而非访谈结束时进行评估的。在多个领域中，分析师的评估与参与者自我评估的匹配率在 83% 到 97% 之间。剩余差异主要由于自我评估偏差、模糊的回应以及语言模型偶尔对细腻 expertise 的误解所致。