Équipe Interaction Son-Musique-Mouvement / Ircam
Riccardo Borghesi
Développeur dans l’équipe ISMM je m’occupe de l’ensemble des logiciels de l’equipe, comme Mubu, GestureAndSound, MaxSoundBox. Après un master en informatique musicale à l’université de Pise, j’ai rejoint l’Ircam en 1996, où j’ai participé dans plusieurs équipes, au développement d’interfaces graphiques spécialisées pour l’interaction musicale.
Frédéric Bevilacqua
Directeur de recherche Ircam et responsable de l’équipe Interaction son musique mouvement, mon travail concerne l’interaction gestuelle et l’analyse du mouvement pour la musique et le spectacle vivant. Les applications de mes recherches vont des instruments de musique numériques à la rééducation guidée par le son. J’ai coordonné plusieurs projets comme Interlude sur les nouvelles interfaces pour la musique (Prix ANR du Numérique 2013, Prix Guthman 2011 des nouveaux instruments de musique) ou encore le projet ANR Legos sur l’apprentissage sensori-moteur dans les systèmes interactifs musicaux. Après des études scientifique et musicale (Master en physique et doctorat en en optique biomédicale de l'EPFL, Berklee College of Music à Boston), j’ai été chercheur à l'université de California Irvine (UCI), avant de rejoindre l’Ircam en 2003.
L'équipe Interaction Son–Musique–Mouvement présentera ses nouveautés dans les domaines de l'interaction musicale individuelle et collective:
MuBu:
- nouvelles versions et features (integration JavaScript, Machine Learning),
- nouvaux exemples de spatialisation granulaire en HOA (ambisonique), (re-)synthèse additive et enregistrement+synthèse circulaire (ringbuffer).
MuBu (pour « Multi-buffer ») est un ensemble de modules pour le traitement du signal temps réel multimodal (audio et mouvement), l’apprentissage automatique, et la synthèse sonore par descripteurs. Le conteneur multimodal MuBu permet de stocker, d’éditer et de visualiser des pistes temporelles synchronisées de divers types : audio, descripteurs sonores, données de captation gestuelle, marqueurs de segmentation, partitions MIDI. Des représentations musicales symboliques simplifiées des paramètres de contrôle de synthèse et de la spatialisation peuvent être également intégrés.
MuBu intègre des modules pour l’apprentissage automatique interactif, pour effectuer de la reconnaissance de formes sonores ou gestuelles.
CataRT:
- nouvelle version modulaire basé sur MuBu et tutoriaux, en collaboration avec Aaron Einbond et Christopher Trapani et le groupe de travail synthèse par échantillons
- integration dans Ableton Live "SkataRT" (conjointement avec l'équipe PDS et Music Unit)
CataRT est une technologie dédiée à la structuration de grains sonores, obtenus à partir de grandes bases de sons de tout type, selon des caractéristiques sonores analysées automatiquement et choisies par l'utilisateur. Ainsi, les bases de données sonores et les archives peuvent être explorées rapidement et intuitivement pour une utilisation dans les domaines de la composition musicale, du design sonore, de la performance et de l'improvisation.