Sonographe

Développé au GAIV (Groupe Art et Informatique de Vincennes à St Denis) Sonographe est un outil pour la création de sons musicaux à partir de différentes représentations graphiques : Les Sound Potatoes permettent de créer des sons de cordes pincées en un tour de souris, Les Graphes de couplages élastiques permettent de créer des oscillateurs et des filtres et enfin, les images (bmp, jpeg…) peuvent être interprétés comme des sonagrammes pour produire des fichiers de son (.wav) ou être directement interprétés en MIDI. Des pinceaux spécialisés permettent de dessiner directement des harmoniques et des répétitions. Les fichiers MIDI peuvent être utilisés pour contrôler les tracés des pinceaux. Cette version est une adaptation/recréation de l’application Phonogramme dans l’environnement .NET, elle est entièrement écrite en C# et utilise DirectX managé pour les entrées sortie audio.

Sound Potatoes

On trace directement une « Sound Potato » avec la souris. Le son est synthétisé par le déplacement d’un mobile virtuel le long de cette trajectoire, qui à chaque tour subit une tension élastique. La valeur d’un échantillon est proportionnelle à la projection de la position du mobile virtuel sur l’axe des x.

Le son peut ensuite être enregistré ou visualisé à différentes échelles sous la forme classique amplitude/temps :

Les indications de durée sont en millisecondes. Chaque période correspond à un tour du mobile sur la trajectoire.

A une plus grande échelle (ci-dessous), on voit l’amplitude du signal diminuer au fur et a mesure de l’application de la tension élastique.

Au cours du temps, la trajectoire s’arrondie, donc le signal se simplifie et tend vers une sinusoïde :

Graphes de couplages élastiques

Les graphes sont constitués de points mobiles (ronds) et de points fixes (carrés) qui peuvent être reliés entre eux par des liens élastiques.

On crée les points mobiles en cliquant en un point du fond. On crée les points fixes en traçant un petit trait diagonal. Si deux points sont créés consécutivement (en moins de 500 millisecondes) ils sont automatiquement reliés. Sinon, on peut créer ou détruire les liens en initiant un trait vers le bas à partir d’un point.

On déplace les points en initiant un trait vers le haut à partir d’un point. On peut ensuite lancer ou arrêter l’animation.

Pendant l’animation, il est possible d’attraper un point et de le déplacer, ou d’en créer de nouveaux.

Pour créer un son, il faut préparer un récepteur (symbolisé par un demi cercle) en le reliant à un point. Les récepteurs sont créés par un trait diagonal un peu plus long. Le récepteur va enregistrer dans un fichier son les déplacement du point mobile qui lui est associé. S’il y a plusieurs points reliés au récepteur, les déplacements seront additionnés.

Les émetteurs (disques), sont créés en traçant un cercle avec la souris.

Lors de leur création on sélectionne un fichier son à lire. Les émetteurs vont déplacer les points qui leur sont associé en fonction de la valeur des échantillons.

Sur cette image, le son produit par une Sound potato permet d’exciter le système. En fonction de la tension des liens et des paramètres des points du graphe, on obtient sur le récepteur différents filtrage du son émis.

Images

Les images, à la manière des sonagrammes, représentent le son dans l’espace temps/fréquences.

Le temps sur l’axe horizontal, et les fréquences verticalement.

On peut choisir deux type d’échelle de fréquence : linéaire ou logarithmique. Dans les paramètres de l’image, on donne alors soit un nombre de Hertz par pixel, soit un nombre de pixel par octave.

En mode logarithmique, une translation verticale (par couper coller par exemple) correspond à une transposition.

En mode linéaire, La distance entre les harmoniques varie avec la hauteur.

Lorsqu’on calcule le son, le système effectue une synthèse additive en utilisant la composante rouge de l’image pour les valeur d’amplitude et en générant les phases aléatoirement pour chaque ligne de l’image.

Lorsqu’on joue l’image en MIDI, les départs de notes sont générés lorsque la valeur de l’image est sous le seuil de 40% de luminosité, et la fin de la note est déclenchée quand la valeur de luminosité dépasse les 60%.

Le « filtre MIDI » permet de voir quels sont les éléments de l’image qui seront joués en MIDI. Cela ressemble aux cartons des orgues de barbarie : seule les lignes de l’image correspondant à des demi-tons sont interprétés (Ici, l’image est en échelle logarithmique pour les fréquences).

Exemples :

Quelques pages de sonographe...
CDs de musiques produites avec Sonographe

En conclusion

L’application n’en est qu’a son premier stade de développement. Pour l’instant les éléments et paramètres ne peuvent être sauvegardés (mis à par les images et les sons .wav).

D’autres modes de synthèse sonore à partir de graphiques seront développés et intégrés. Les outils de manipulation d’image et de son seront améliorés.

Pour obtenir une version :

Ecrire à Vincent Lesbros (v i@ a i . u n i v - p a r i s 8 . f r)

Université Paris 8, Laboratoire d’Intelligence Artificielle, GAIV à la MSH paris Nord - 2004-04-01