Drizzle Path ——Ouvrage audiovisuel interactif - Yixuan Zhao
Présenté par : Zhao Yixuan, Yang Ruochen
Biographie
J'explore la manière dont les interprètes classiques peuvent engager et influencer les sons électroniques et les images visuelles. Le centre de ce travail est l'interprète, dont l'expression musicale relie étroitement le son et la vision. J'explore comment les interprètes classiques peuvent engager et influencer les sons électroniques et les images visuelles. Le centre de ce travail est l'interprète, dont l'expression musicale relie étroitement le son et la vision. Nous remercions tout particulièrement l'artiste visuel --Qiao Zhi pour avoir conçu et arrangé les éléments visuels de cette œuvre.
Le piano est une manette qui contrôle à la fois le son et la vision. L'expression musicale du pianiste est une variable en temps réel dans le système audiovisuel. Qu'il s'agisse de remodeler de nouveaux timbres à l'aide d'algorithmes aléatoires, de construire un espace tridimensionnel ou d'utiliser une vidéo générée et évoluée par l'IA pour présenter la transformation en cascade des champs, la double interaction de l'audition et de la vision donne lieu à de multiples interprétations, explique le pouvoir expressif inhérent de l'audiovisuel donné par l'IA et nous incite à réfléchir à la symbiose entre l'homme et l'IA.
L'œuvre détecte les paramètres de performance en temps réel, y compris le pic d'attaque, les harmoniques, le tempo, l'intensité sonore, etc., puis déclenche des sons électroniques ou des effets sonores et utilise des algorithmes aléatoires pour synthétiser de nouveaux sons. Les paramètres de performance contrôlent également la partie visuelle. En plus du "déclenchement", la deuxième partie de l'œuvre utilise le tempo de la performance pour affecter la transformation continue de l'image de l'IA. Elle utilise principalement le modèle "realistic_vision" dans "Stable Diffusion" et calcule la séquence d'images par le biais du composant fonctionnel "Deform". Le travail comprend une version stéréo et une version Atmos.