L'IA et l'interface cerveau-ordinateur pour le design sonore et le contrôle instrumental par la reconnaissance des émotions et des centres d'intérêt - Tommaso Colafiglio, Fabrizio Festa, Tommaso Di Noia
Présenté par : Fabrizio Festa, Tommaso Colafiglio et Tommaso Di Noia
Biographie
-
En bref, voici la structure de notre logiciel basé sur l'IA :
1) Une architecture de modèle d'apprentissage profond peut générer des textures sonores.
2) Un système de reconnaissance des émotions conditionne le modèle d'apprentissage profond.
3) Un pipeline d'apprentissage automatique spécifique peut reconnaître les émotions humaines.
Ainsi, nous pouvons contrôler directement certains paramètres des instruments virtuels, à la fois consciemment et inconsciemment. Ce processus est possible parce que nous avons développé un modèle d'apprentissage automatique avancé pour reconnaître les émotions de l'utilisateur. Grâce à ce processus, nous identifions l'émotion humaine pour interagir avec la synthèse sonore de n'importe quel instrument virtuel.
-
Nous présenterons deux systèmes permettant de générer des textures sonores et de contrôler les sons à l'aide de deux interfaces cerveau-ordinateur et de plusieurs modèles d'apprentissage automatique et d'apprentissage profond.
Plus précisément, nous concentrerons l'atelier et la démonstration sur l'illustration d'un instrument de musique neuronal et d'un système de génération de timbre conditionné par les émotions de l'utilisateur.
Instrument musical neuronal : Grâce au casque BCI Muse EEG, nous pouvons extraire certaines caractéristiques du signal électroencéphalographique qui nous permettent de détecter l'état d'activation cérébrale de l'utilisateur en temps réel. Pour ce faire, nous avons formé un modèle ML qui peut classifier l'état de concentration consciente de l'utilisateur. Ensuite, en appliquant un protocole d'analyse spécifique sur le signal EEG, nous prédisons la valeur d'activation continue de l'état mental de l'utilisateur. En conséquence, nous contrôlons trois paramètres d'un instrument virtuel pour la modulation consciente du son de l'instrument de musique neuronal.
Génération de textures sonores émotionnelles : Grâce à un ensemble de données collectées dans le laboratoire SisInfLab de l'université polytechnique de Bari, nous avons entraîné un modèle de reconnaissance des émotions avec le casque BCI Muse EEG. Ce modèle peut détecter l'émotion prédominante de l'utilisateur en temps réel. Une fois que nous avons obtenu la valeur de classification de l'émotion ressentie par l'utilisateur, nous utilisons cette valeur de classification pour conditionner la génération de timbres à l'aide de modèles d'apprentissage profond. Ces modèles ont été pré-entraînés avec des ensembles de données d'échantillons originaux produits par l'équipe de recherche.
-