TONUS：面向艺术声音共创的神经形态人体姿态估计

人机交互是当今媒体艺术和数字设计中的巨大灵感来源，因为机器和人正在越来越紧密地融合。这在艺术中的位置反映了其在工业中的日益增长的应用，如机器人技术。然而，这些交互往往过于技术化和机器驱动，难以让人真正投入其中。从艺术角度来看，新技术往往没有得到充分发挥，滞后于实际应用，因此最新的研究成果难以进入博物馆和展览。机器应该以无缝的方式支持人们的想象力和诗意，与他们的身体或灵魂进行交互。我们提出了一个 featuring neuromorphic body sensing 的艺术声音装置，旨在通过直接而不侵入性的方式与访客进行交互，以共同创造声景。我们设计了一个神经形态多头人体姿态估计神经传感器，用于细致的人体动作控制，以塑造声景和视觉输出。特别地，特征提取器是为专用的神经形态芯片量身定制的脉冲神经网络。访客沉浸在声音氛围和神经加工的自我表示中，通过控制自己的动作，体验与一种神经形态思考方式相似的机器进行对话。