Système de musique interactive XR (Human-Swarm Interactive Music System) - Pedro Lucas
Présenté par : Pedro Lucas
Biographie
Ce projet est un système de musique interactive (IMS) qui utilise la réalité mixte (MR) et les technologies audio spatiales pour une session de bouclage multipiste, chaque piste étant représentée par un "agent" qui, dans ce cas, est une entité incarnée par une source sonore et un espace visualisé sous la forme d'une sphère virtuelle. Un agent possède également un comportement autonome qui permet la transformation du matériel musical initialement fourni par un musicien qui peut jouer en temps réel avec ce système, ainsi que son mouvement, en fonction de paramètres spatiaux provenant de l'interprète et d'autres agents. Comme il s'agit d'une section multipistes, l'interprète peut convoquer autant d'agents que de pistes créées, de sorte qu'à terme, la session comportera un essaim artificiel interagissant avec le musicien.
Il fonctionne de la manière suivante : L'artiste crée une source sonore en jouant une ligne musicale sur un contrôleur MIDI de type piano et en modifiant les propriétés du son à l'aide de filtres et d'effets par le biais de boutons physiques. Le contrôleur central, le Core System, comprend un looper qui enregistre et répète ce matériel musical, créant ainsi une source sonore qui peut être entendue et vue dans l'espace. Cette source sonore est connue sous le nom d'agent musical et peut être déplacée manuellement à l'aide des capacités de suivi du casque MR. Le système Spatial Audio permet de cartographier la position de la source sonore sur le réseau de haut-parleurs (système ambisonique), et le casque MR restitue l'agent sous la forme d'une sphère colorée dans l'espace physique.
Grâce à des gestes spécifiques effectués à partir du casque MR, l'agent peut être relâché afin qu'il commence à se déplacer de manière autonome, en changeant le matériel musical (mais en conservant les propriétés sonores) de la boucle sur la base d'un algorithme d'apprentissage automatique alimenté en temps réel pendant que l'utilisateur jouait initialement la ligne musicale. Lorsque l'agent est relâché, un nouvel agent est instancié, ce qui permet à l'utilisateur de l'initialiser avec une nouvelle boucle, puis de le relâcher à nouveau. Ce processus peut être répété plusieurs fois pour générer une session musicale multipiste, chaque piste en boucle étant associée à un agent en forme de sphère se déplaçant dans l'espace audiovisuel 3D.
Comme les agents se déplacent librement dans l'espace de représentation, l'utilisateur peut également se déplacer dans l'espace physique. L'utilisateur peut attraper les agents libérés pour modifier la boucle musicale et les propriétés du son, puis les relâcher à nouveau dans cette interaction musicale homme-machine.