Emotion-Agent：基于分布-原型奖励的无监督深度强化学习用于连续情感EEG分析

连续脑电信号（EEG）在情感脑机接口（aBCI）应用中广泛使用。然而，并非所有连续收集的EEG信号都与任务本身相关或有意义（例如，寻思 thoughts）。另一方面，由于不同任务和个体间的参与度模式差异，手动标记相关部分几乎不可能。因此，有效且高效地识别连续EEG记录中重要部分对于下游BCI任务至关重要，因为这直接影响结果的准确性和可靠性。本文提出一种新型无监督深度强化学习框架，称为Emotion-Agent，用于自动识别连续EEG信号中相关且有信息的情感时刻。具体而言，Emotion-Agent涉及无监督深度强化学习结合一种启发式算法。我们首先使用启发式算法进行全局搜索，形成EEG信号的原型表示，这有助于高效探索信号空间并识别潜在的感兴趣区域。然后，我们设计分布-原型奖励函数来估计样本与原型之间的相互作用，确保所识别的部分既相关又能代表 underlying 情感状态。Emotion-Agent采用Proximal Policy Optimization（PPO）进行训练，以实现稳定且高效的收敛。我们的实验比较了有无Emotion-Agent的性能。结果表明，在输入下游任务之前选择相关且有信息的情感部分，可提高aBCI应用的准确性和可靠性。