une chronique de Poss publiée le 21 août 2007
// Info mai 2009: Un exemplaire de la Reactable sera en démonstration durant le Festival Art Rock de Saint-Brieuc du 26 au 31 mai (Musée de Saint-Brieuc). Le public sera invité à prendre en main la bête pour en tirer des sons. //
Une active équipe de chercheurs espagnols de l’Université Pompeu Fabra a créé un système de manipulation du son plutôt original et surtout open source. On voit en effet fleurir depuis plusieurs mois un grand nombre d’écrans tactiles, ou s’y apparentant, destinés à modifier notre façon d’appréhender le monde informatique. D’aspects très souvent ludiques, dotées d’une ergonomie où la main en tant qu’outil prend toute sa dimension humaine, ces interfaces sont souvent spectaculaires au point qu’il est évident de faire le rapprochement avec les écrans manipulables imaginés par les réalisateurs du film Minority Report (cf. par exemple Tangibletable / Surface / DataTiles). Sauf que là c’est du concret et c’est maintenant !
Voici à quoi ressemble l’installation des espagnols.
Le premier prototype a été présenté lors de l’AES 2005 à Barcelone.
Le principe est plutôt simple. Une caméra vidéo placée sous la surface vitrée servant de support (et d’écran) est interfacée avec un logiciel de reconnaissance de formes et de mouvements : ReacTIVision. Ce dernier analyse alors ce qui se passe sur la vitre – chaque objet ayant une forme et un identifiant unique (dénommé fiducial en anglais, à mon avis impromprement traduit fiduciaire par beaucoup en français, le terme exact semblant plutôt être fiduciel) – et envoie les infos, d’une part à un logiciel de synthèse sonore qui récupère les paramètres et les transforme de façon à générer du son et d’autre part à une application (un synthétiseur visuel en quelque sorte) gérant un videoprojecteur pour diffuser une interface visuelle sur l’écran-vitre.
Le module ReacTIVision est donc disponible sur le site de l’équipe, et tout un chacun peut se lancer dans la création de sa propre table en utilisant selon ses goûts PureData, Processing, Reaktor (avec une adaptation en Midi visiblement), AudioMulch (le créateur de ce logiciel faisant partie de l’équipe de recherche)…
* Expérience *
J’ai commencé à voir dans quelle mesure cela est accessible au commun des mortels n’ayant quasiment pas de connaissance dans le domaine.
Je livrerai ici les résultats des expériences au fur et à mesure de leurs avancées (si avancées il y a).
Sans forcément recréer une table aussi parfaite que celle de Barcelone, le but est d’essayer de créer un petit instrument de synthèse sonore (sans le feedback du videoprojecteur) transportable et montrable à peu de frais (logiciels de gestion du son gratuit tant qu’à faire)
* 13 août *
récupération de ReacTIVision, de PureData, lecture du blog de Jean-Yves Gratius détaillant sa Reactable maison (cheap mais fonctionnelle)
* 14 août *
premiers tests avec une Quickcam en Usb dont la résolution est normalement insuffisante pour des résultats probants, mais c’est pour un test. On verra plus tard s’il est intéressant d’investir dans du matériel plus évolué.
Installation de PureData sur mon PC (PIV 2,4Ghz, Ram 1Go, XP Professionnel) : j’avais déjà effleuré ce logiciel il y a un ou deux ans, je me souviens maintenant pourquoi je n’étais pas allé plus loin ! Y a du taf !
La communication entre la Quickcam et ReacTIVision ne semble pas être opérant. Diable !
* 16 août *
La Quickcam est finalement reconnue par Reactivision sous PureData. Je teste avec un des fiduciaires : mouvements et identification fonctionnent.
On approche !
J’ai installé les abstraction PureData de J-Y. Gratius, mais je reste désespérément perdu face à ça… Il se passe des choses, mais je ne sais pas trop quoi et je n’arrive pas à sortir un seul son du générateur sonore fourni dans l’archive. Tout cela me semble très gourmand en ressources systèmes et le PC n’est jamais très loin du plantage général…
Tentatives pour trouver des solutions sur le net ou d’autres applications communiquant aussi avec ReacTIVision. Apparemment il est aussi possible de l’interfacer avec Reaktor ou Live, mais cela sort du cadre open-source et gratuit que je m’étais fixé au départ…
Toutefois et en attendant la suite, une démo sympathique par l’Institut Fatima avec Live (collectif hispanico-germanique) :
J’ai lâché le monde du gratuit et l’univers de l’OSC (Open Sound Control) pour celui du payant (en version démo) et du Midi.
Je me suis finalement rabattu sur Live et la sortie MIDI de ReacTiVision grâce aux blogs de Èffe et de Roo Reynolds qui ont travaillé aussi sur leurs propres tables maison. Après avoir installé le merveilleux logiciel MidiYoke qui permet de router le flux Midi en interne sans interface physique, j’ai pu – au bout de 24h – trouver la bonne config stable et efficace entre la webcam et LiveTM.
Dès que les résultats auront un peu plus d’allure je posterai une petite vidéo de démonstration. Mais en attendant, quelques images d’un exemplaire de la ReacTable espagnole à l’oeuvre lors d’un live de Björk dans l’émission Later de Jools Holland.
Après divers essais et le début de fabrication de la ReacTable maison je vous livre ici une toute première video qui montre que ça peut marcher: déclenchement et arrêt de la lecture des samples dans Live, gestion des paramètres de divers effets (délai, filtre). C’est encore un peu bricolo. La caméra et le PC sont au max de leurs capacités parce que je pense que la chaîne Webcam USB –> Reactivision –> Live est au max de ses capacités en l’état actuel des choses. Il faut aussi pas mal gérer divers problèmes de luminosité: lumière incidente qui fausse l’analyse, reflets (du coup j’utilise un verre organique anti-reflet comme ceux que l’on trouve pour l’encadrement de tableaux)… mais bon c’est assez satisfaisant de faire de la musique juste en déplaçant des petits bouts de machin (doublés polystyrène : grand luxe !) sur une surface vitrée.
Tout d’abord le logiciel Bidule de chez Plogue qui est un synthé modulaire d’une utilisation hyper simple et qui se marie à merveille avec ma Reactable. L’interface se fait toujours via le Midi mais il semblerait que Bidule soit capable de converser via OSC. Il ne me reste plus qu’à moi-même apprendre à causer OSC… mince tâche….
Ensuite, je remercie Rutrus pour m’avoir fait découvrir Psychosynth, nouveau synthé modulaire aussi mais dont l’interface est inspiré de la Reactable et qui devrait normalement pouvoir s’interfacer avec elle. Pour le moment le logiciel n’est disponible que pour Linux, mais des versions pour Windows et Mac OSX devraient bientôt voir le jour. Je vous laisse en compagnie de la vidéo de démonstration, plutôt sympathique !
// Références //
° Reactable site officiel
° XRing, Captation d’objets tangibles : Reactivision 1.3 et la Reactable
° 100 Loaded : So, I’m obssesed with multi-touch. But who isn’t?