Qu’est-ce que l’application …ondes…?
Un élément clé du projet …ondes… était le développement, par une équipe de l’Université Memorial, d’une application iOS gratuite. Cette application, nommée …ondes… (du nom anglais de l’événement), donnait aux spectateurs la possibilité de transformer leurs appareils iPhone en « bols chantants » (« bols tibétains » ou « bols de prière ») et de participer à la finale du spectacle. Chaque personne a été invitée à télécharger l’application avant le spectacle et à la lancer à la demande pendant la section finale de l’œuvre d’Andrew Staniland, On the Surface of Water. Le résultat a été une impressionnante nuée de bols chantants qui enveloppaient le chant choral de trois tonalités ambiophoniques.
L’application demeurera gratuite à perpétuité et pourra être utilisée pour de futures représentations, par des chœurs du monde entier, de l’œuvre d’Andrew Staniland ou d’autres œuvres que l’application pourrait inspirer. En développant cette application, Canada Choral a introduit une nouvelle technologie accessible dans le processus créatif, aidant ainsi à briser les barrières entre l’interprète et l’auditeur.
Qu’est-ce qui rend l’application …ondes… unique?
Au fil du développement, quelques défis se sont présentés qui ont non seulement amélioré notre expérience d’apprentissage, mais qui ont aussi contribué à rendre cette application différente de nombreuses autres applications offertes en ligne.
La chorégraphie est un facteur crucial, car la visualisation s’adapte à deux sources audio : 1) des données microphoniques en direct et en temps réel et 2) des clips audio préenregistrés tolérants au retard. L’analyse des deux sources couvre de nombreux paramètres, comme les composantes de fréquences et leur amplitude. Cependant, l’échantillonnage des données microphoniques en temps réel et la collecte d’une très petite fraction des données très rapidement pour éviter la latence et analyser leurs fréquences, se sont révélés plus difficiles que l’analyse des clips audio stockés.
La fonction de lecture qui a été ajoutée permet aux utilisateurs de lire le clip audio préalablement enregistré pour participer à l’événement. Cependant, la lecture multipiste et parallèle s’est avérée difficile, car chaque piste devait être définie, initialisée, accordée et activée séparément, mais toutes les pistes devaient fusionner en douceur et ne faire qu’une! Des algorithmes de fondus enchaînés ont été créés et ajoutés pour faciliter la lecture en parallèle.
Pour que la visualisation audio semble aussi naturelle que possible, nous avons mis à profit certaines lois physiques et nous avons utilisé des données temporelles continues pour simuler une transition en douceur entre chaque composant de la visualisation. Nous disposions d’un bon nombre d’options pour la visualisation audio. Nous avons exploré les nébuleuses, les étoiles, les vagues et les ondulations, en effets 2D et 3D. Après de longues délibérations et essais, nous avons opté pour l’effet de nébuleuse, le plus distinct et le plus pertinent dans le contexte de l’événement …ondes… Afin d’ajuster avec précision l’effet de nébuleuse pour qu’il corresponde aux données d’entrée, plusieurs de ses paramètres, comme la taille moyenne et la variance, la vitesse, l’accélération, le champ de profondeur et l’effet de bord, ont été ajustés en conséquence.
Pour permettre aux utilisateurs d’interagir avec l’application en utilisant le mouvement du fouet, qui peut être plus lent et plus ample qu’un geste de secouage habituel, nous avons dû contourner le détecteur de mouvement intégré et accéder aux données brutes des mouvements du noyau (accéléromètre et gyroscope) et élaborer des algorithmes de détection à partir de ces données. Ce module implique un filtrage passe-bas et un mouvement intégral dans l’espace 3D. Ces algorithmes sont ensuite utilisés pour distinguer les différents mouvements de l’appareil et exécuter les actions appropriées. Ainsi, les utilisateurs peuvent lancer la lecture des sons des bols tibétains sans avoir à savoir consciemment s’il s’agissait à l’origine d’un mouvement de secouage ou d’un mouvement de fouet; le résultat sera le même, peu importe que le mouvement soit lent ou rapide, ample ou réduit.
Des fonctions supplémentaires, comme un mode « méditation », un mode « arrière-plan », un soutien hors ligne et des fonctions de lecture/arrêt manuelles ont été ajoutées pour apporter plus de plaisir, d’utilité et de contrôle aux utilisateurs. Nous avons aussi exploré la possibilité d’une sélection audio par géorepérage qui aurait permis de sélectionner automatiquement des lectures audio spécifiques ou des variantes en fonction de l’emplacement de l’utilisateur. Néanmoins, nous sommes très satisfaits du résultat et du fait que l’application a rehaussé l’expérience du public, de manières subtiles, non intrusives.
Rapport fourni par le Yuanzhu Chen, Ph. D. et Ali Alfosool, co-créateurs de l’application …ondes…