Une exploration synesthétique des liens entre vision et audition : le projet VERSUS
Synesthésie et aperception : l’expérience paradoxale du sonore et du visuel dans Versus
Le projet Versus interroge la rencontre entre vision et audition dans une exploration synesthétique où les correspondances sensorielles ne sont pas de simples analogies, mais des interférences dynamiques. Dans ce dialogue entre esthétique et savoir, l’expérience perceptive devient un espace mouvant où le sonore et le visuel ne cessent de s’excéder l’un l’autre. Dans ce cadre, la culture sonore (ou culture sonique) ne peut être pensée indépendamment de ses relations avec d’autres modalités perceptives. Le son n’est jamais strictement audible : il se visualise en formes, en pulsations, en textures lumineuses, tout comme l’image peut être entendue dans sa matérialité vibratoire. Cette interaction est parfois fluide, parfois chaotique, révélant une tension constante entre perception et cognition.
L’approche du projet rejoint ainsi la notion d’aperception, cette perception du non-sonore en tant que son, ou du non-visible en tant qu’image. Il ne s’agit pas simplement d’un manque ou d’une absence, mais d’une présence latente, d’un excès perceptif qui se manifeste autrement. Là où l’oreille ne perçoit plus, l’œil capte un mouvement ; là où l’image s’efface, le son prend une consistance quasi tactile. Cette synesthésie paradoxale repose sur un jeu d’apparition et de disparition, où l’expérience sensorielle devient une matière instable, constamment en train de se recomposer. Dans un monde façonné par la technologie et l’intelligence artificielle, où les stimuli sont reconfigurés, amplifiés ou détournés, Versus propose une lecture sensible et immersive de notre rapport aux sens. Il s’agit moins d’associer le son et l’image que de les faire vaciller ensemble, de montrer comment leur frontière est poreuse et comment leur interaction redéfinit ce que nous croyons percevoir.
À travers l’expérimentation et l’interdisciplinarité, ce projet engage ainsi une réflexion sur la plasticité des liens entre perception, technologie et création, invitant le spectateur-auditeur à une exploration où ce qui est perçu n’est jamais totalement ce qui est, et ce qui est absent peut soudain devenir une présence saisissante.
Naissance du projet et démarche artistique-scientifique
Versus naît d’une double ambition artistique et scientifique : révéler la poésie de l’ordinaire à travers le son, l’image et le texte, et explorer les liens subtils entre nos perceptions multimédias. Ancré dans une démarche critique, le projet questionne les normes de la mémoire sensorielle et propose un espace d’expérimentation où les correspondances synesthétiques déconstruisent les cadres usuels de perception. Il redéfinit les sens comme des zones de dialogue et de transformation, interrogeant les rapports entre corps, technologie et imaginaire.
Le projet s’étend sur une année complète. Il a pris forme après une soirée à laquelle participait un designer graphique exerçant des responsabilités industrielles et qui racontait qu’il dessinait chaque jour un objet et publiait son dessin sur Instagram, exposant ses créations sur les réseaux sociaux, jusqu’à ce qu’un éditeur lui propose de publier, une fois le cycle terminé, un ouvrage des 365 dessins. Cette idée appliquée au son m’a inspiré pour générer la pièce. Le projet a commencé le 22 juin 2023, un choix symbolique marqué par le lendemain de la fête de la musique et au démarrage de l’été, la continuité renouvelée. Chaque jour de l’année, une pièce, une séquence, un morceau, un échantillon sonore de 45 secondes (en moyenne générale) a été enregistrée, accompagnée d’une image générée grâce à l’intelligence artificielle, mais en différé. La prise directe de photo à la source de la production (prise de son) s’est avérée trop chronophage et plutôt contre-intuitive en guise de production sonore. S’il y a des correspondances entre audio et vision, le travail sur le son, qui représente plusieurs étapes de réalisations jusqu’à sa publication sur les réseaux, a été réalisé en premier et sans autre médium. Dans une deuxième phase de travail non publiée ont été développés deux médias, l’image et le texte.
Analyse du processus de capture et d’interprétation de l’image sonore :
L’image a d’abord été envisagée comme un document visuel destiné à représenter l’objet vibrant, source de résonance, et l’action sonore en elle-même, en capturant la « température sonore » ambiante par le biais d’une photographie prise à l’aide d’un smartphone. Cette première intention s’inscrivait dans une démarche d’exploration sensorielle et expérimentale du son dans sa représentation iconique, en cherchant à en restituer l’essence à travers sa manifestation visuelle. Toutefois, des contraintes techniques – notamment celles liées au temps, à la cohérence de l’image produite, et aux exigences stratégiques du projet (comme le choix du cadrage, du support, et de la stabilité de l’image) – ont mené à l’abandon de cette méthode initiale.
L’approche a alors été redéfinie en adoptant un double dispositif méthodologique. Le premier s’articule autour de la création d’une base de données structurée, où chaque enregistrement sonore est minutieusement annoté. Cette base de données inclut non seulement des informations descriptives sur la nature du son – sa provenance, son dispositif de production, les matériaux impliqués dans la création de la vibration, le type de matière résonantes, le mode de jeu de la vibration – mais aussi des éléments contextuels essentiels : la localisation géographique exacte du son, ainsi que le cadre temporel de sa captation, la durée. Cette attention portée à la précision des données permet d’ancrer le son dans un espace-temps spécifique, facilitant ainsi une lecture approfondie de sa signification.
Le second explore l’image comme une métaphore visuelle du son. Loin de se limiter à la documentation d’un objet ou d’un événement sonore, l’image devient une traduction visuelle qui cherche à capturer l’intensité, la résonance et la charge affective du phénomène acoustique. Cette approche s’accompagne d’une analyse approfondie du champ lexical associé au son, replacé dans un cadre théorique tenant compte des idéologies sonores propres à chaque culture ou époque, ainsi que des pratiques d’écoute qui les accompagnent. L’image n’est donc pas une simple représentation ; elle agit comme un miroir interprétatif, reflétant le phénomène sonore tout en incarnant, par sa construction même, un acte d’écoute contextuelle et subjective.
Créer des images à partir de sons grâce à l’intelligence artificielle :
Le projet s’est orienté vers la collecte de sons issus du quotidien – bruits ambiants, voix humaines, sons naturels ou mécanismes – avec pour objectif de leur associer des images, créant ainsi un dialogue visuel et auditif. Ces images ne sont pas des photographies traditionnelles, mais des créations réalisées grâce à un programme d’intelligence artificielle, Adobe Firefly, l’équivalent aujourd’hui des applications Mid-journey ou Dall·e de ChatGPT. (C’est en cela que la base de données évoquées plus haut est importante car elle a été alimentée juste après l’enregistrement du son et les descriptions affinée ensuite). Pour chaque son, deux images de référence trouvées en ligne sont combinées, accompagnées d’une description textuelle (appelée prompt) qui explique le son – description en au minimum cinq mots libres de toute allégeance). Ce processus traduit les sons en représentations visuelles singulières, établissant un lien direct entre l’expérience auditive et sa transcription visuelle, tout en offrant une nouvelle manière de percevoir et d’interpréter ce que l’on entend.
L’association entre son et image, bien qu’inhérente au processus de création, transcende ici la simple traduction entre deux médias. L’image générée n’est pas une représentation directe du son, mais une entité autonome qui, par son interaction avec celui-ci, altère et enrichit la perception de l’ensemble. Cette dynamique met en évidence un phénomène de transformation réciproque : le son, en agissant comme un catalyseur, insuffle à l’image une qualité mouvante, fluide, presque organique, tandis que l’image amplifie la portée narrative et émotionnelle du son. Ce dialogue recentre l’attention sur l’expérience sensorielle déclenchée par les sons, au-delà de leur source matérielle.
L’objectif de cette méthode expérimentale est de révéler l’extraordinaire dans l’ordinaire, en transformant une scène quotidienne en une source d’émerveillement. Ce processus met également en lumière les associations personnelles entre les sons et les images, chaque spectateur y projetant ses propres expériences sensorielles et émotionnelles. À travers l’utilisation de Firefly, le projet interroge aussi les capacités des outils numériques à dépasser la simple transcription fidèle. Les images générées ne sont pas des traductions littérales, mais des réinterprétations créatives. Par exemple, un prompt comme “Des vagues calmes sous un ciel gris argenté” peut intégrer une gravure marine ancienne associée à une photographie contemporaine, produisant une vision inédite et souvent surprenante. Cette dynamique amène l’artiste à reconsidérer son propre rapport au son initial.
Cette démarche artistique et scientifique (puisqu’elle répond à des critères technologiques) invite à repenser nos perceptions en intégrant la richesse et la complexité des sens humains. Si l’on s’en tient à une analyse classique, les sens sont traditionnellement réduits à cinq grandes catégories – la vue, l’ouïe, le goût, l’odorat et le toucher. Pourtant, pour certains chercheurs, cette liste ne s’arrête pas là. Les récepteurs sensoriels de la peau, par exemple, ne se contentent pas de capter le toucher dans une globalité indistincte : ils se subdivisent en six types, chacun spécialisé dans une plage spécifique de température, entre chaud et froid.
De même, la vision s’appuie sur quatre types de récepteurs, encore mal connus, dont trois sont dédiés à différentes longueurs d’onde lumineuses et un quatrième ajuste notre perception à des environnements de faible luminosité. Quant au goût, il peut être appréhendé à travers les cinq saveurs fondamentales : le sucré, le salé, l’amer, l’umami et l’acide. Ainsi, selon la manière dont on catégorise nos “détecteurs” internes et externes, on pourrait compter jusqu’à une vingtaine de sens distincts.
C’est cette complexité sensorielle, à la fois physiologique et cognitive, qui est mise en jeu dans l’exploration synesthésique entre son et image. En mobilisant des technologies comme l’intelligence artificielle pour générer des représentations visuelles à partir de stimuli auditifs, cette démarche interroge précisément ces zones de croisement entre les sens, là où les récepteurs se démultiplient et où la perception devient une construction mouvante et plurielle. Les créations hybrides qui en résultent ne sont pas seulement des œuvres visuelles ou sonores : elles incarnent une tentative d’élargir notre compréhension des sens humains en reconfigurant les frontières entre eux, tout en questionnant les implications esthétiques, technologiques et politiques de cette reconfiguration.
En ancrant le travail dans une exploration des relations entre l’œil et l’oreille, 1 son 1 jour, 1 année ouvre un espace de réflexion unique sur notre gestion audio du quotidien.
L’exercice reviendrait presque à élaborer selon un champ lexical et/ou une recherche synonymique, les mille et une manières de produire un son. On devine assez rapidement que toute action, quelle qu’elle soit, engendre un son et réciproquement que tout son provient d’une action. En clair tout est son, comme tout est image. Nous ne nous déterminons qu’en fonction de cela au niveau le plus concret.
Trois déclinaisons du programme sont désormais présentées, chacune explorant un aspect distinct mais complémentaire de l’expérience perceptive. La première version propose une expérience immersive, où les sons et les images générées enveloppent le spectateur dans un univers sensoriel total, brouillant les repères entre réel et imaginaire. Elle est censée correspondre à la richesse de la combinaison acoustique et visuelle. La seconde s’inscrit dans une démarche de psychoacoustique expérimentale, interrogeant les effets des fréquences et des textures sonores sur notre psyché et nos émotions, elle cherche à révéler les mécanismes intimes de notre écoute. Enfin, la troisième se concentre sur la synesthésie – à travers le vécu sensoriel – un phénomène neurocognitif atypique d’intermodalité sensorielle, pour générer des interactions inédites entre audition et vision et autre perception. L’exposition est sono-visuelle, mais interactive pour rester dynamique. Un écran projette selon les choix utilisateur – un tableau de 365 images – un son (jusqu’à 4 sons simultanés), et, lorsque sélectionné (pressé sur l’écran tactile), déclenche une image qui change également (pixellisation en temps réel). L’utilisateur/performer peut ensuite faire varier des paramètres temps réel – volume, luminosité, saturation, texture par voie tactile sur l’écran et jouer sa création.
L’expérience immersive
Dans cette version du programme appelé VUS, l’exploration des interactions entre la vision et l’audition prend la forme d’un jeu à points au sein d’une interface interactive utilisateur. Ce dispositif repose sur une double modalité d’association sensorielle, structurant un cadre expérimental d’analyse des correspondances perceptuelles. Sont proposées 3 étapes :
Axe 1 : exposition de l’utilisateur à un stimulus sonore : par exemple, le bruit métallique d’un train en gare ou le crépitement apaisant d’un feu. À partir de ce son, il sélectionne, parmi une série d’images proposées, celle qui lui paraît la plus pertinente pour représenter ou évoquer ce stimulus parmi dix images scorées. Cette tâche est encadrée par des questions-guides précises et prescriptives, telles que : Qu’entendez-vous ? Quels éléments visuels cette ambiance sonore évoque-t-elle ? Quelle émotion ou atmosphère cette association déclenche-t-elle ?
Axe 2 : inversion du processus : à partir d’une image générée par Adobe Firefly, combinant prompts textuels et inspirations visuelles, le lecteur est amené à deviner ou imaginer le son qui pourrait correspondre. Par exemple, face à une image de vagues sous un ciel orageux, les questions posées incluent : « Quels sons cette image suggère-t-elle ? », « À quel détail visuel associez-vous cette idée sonore ? » et « Ce son est-il réaliste ou purement imaginé ? » Ce va-et-vient entre vision et audition met en lumière les ponts cognitifs entre les deux sens, tout en soulignant la diversité des interprétations possibles. Chaque participant, avec ses propres expériences et perceptions, enrichit le dialogue entre le son et l’image.
L’intérêt scientifique de ce dispositif réside dans l’analyse fine des choix opérés par l’utilisateur, qui révèlent des schémas associatifs implicites, des biais culturels ou encore des interprétations subjectives des stimuli. En engageant simultanément des mécanismes de reconnaissance auditive et visuelle, l’expérience questionne les ponts sensorimoteurs qui se forment entre ces deux domaines perceptuels. Par ailleurs, la prise en compte des réponses qualitatives – par le biais de courtes descriptions ou de commentaires rédigés – enrichit les données et permet d’identifier les correspondances émotionnelles ou narratives qui émergent de ces interactions.
Versus dépasse le simple cadre ludique pour devenir un outil expérimental, explorant les processus cognitifs et imaginatifs à l’œuvre dans les associations entre son et image. Ce projet interroge la manière dont nous percevons et interprétons notre environnement multisensoriel à travers des dispositifs technologiques interactifs.
Psychoacoustique expérimentale
Dans une perspective épistémologique visant à approfondir la compréhension des interactions entre audition et vision, une méthode d’analyse interactive et immersive a été développée. Celle-ci repose sur un dispositif ludique structuré sous la forme d’un jeu expérimental, engageant directement l’utilisateur dans une exploration sensorielle active. Ce jeu présente un panel de 5 à 10 stimuli sonores, chacun associé à une image générée, accessibles via des QR codes ou une plateforme dédiée. L’objectif est de favoriser une immersion immédiate par l’écoute attentive des sons et l’analyse minutieuse des représentations visuelles.
Les images proposées, souvent ambiguës ou évocatrices, agissent comme des catalyseurs de réflexion. Elles se caractérisent par des détails esthétiques particuliers ou des atmosphères riches, conçues pour susciter une interrogation personnelle. Par exemple, un son tel que le sifflement du vent sur une plage désertique, mêlé au bruit lointain des vagues, est représenté par une image montrant une étendue de sable gris balayée par des tourbillons de vent sous un ciel bleu froid et chargé de nuages menaçants. Cette juxtaposition audiovisuelle, à la fois réaliste et interprétative, met en évidence les mécanismes cognitifs de projection et d’interprétation sensorielle.
Le dispositif repose ainsi sur une approche dialogique des sens, où chaque perception – visuelle ou auditive – enrichit l’autre. Cette méthodologie met en lumière les interrelations complexes et dynamiques entre les stimuli, et interroge les processus cognitifs, émotionnels et culturels qui façonnent ces correspondances. Plus qu’un simple outil ludique, ce cadre analytique offre une contribution significative à l’étude des interactions sensorielles, en explorant les structures sous-jacentes des liens entre ambiances sonores et images perçues, tout en plaçant l’imaginaire individuel au centre de l’expérience.
L’utilisation de l’intelligence artificielle dans ce projet permet de reconfigurer le visible à partir du sonore, offrant ainsi une nouvelle manière de traduire l’expérience auditive en création visuelle. Grâce à Adobe Firefly, deux approches complémentaires sont explorées.
La première repose sur la génération textuelle, où un prompt décrivant le son sert de base. Par exemple, une description comme “Un grincement métallique dans une usine abandonnée, éclairée par une lumière jaune filtrant à travers des vitres cassées” produit une image immersive. Celle-ci évoque un espace industriel déserté, où des détails tels que des chaînes suspendues ou des murs rouillés traduisent l’atmosphère sonore. Ce processus allie précision descriptive et évocation visuelle, rendant le son tangible pour l’imaginaire.
La deuxième approche utilise la combinaison d’images. En partant de deux visuels trouvés sur Internet, Firefly génère une composition visuelle plus complexe. Par exemple, une photographie d’une usine désaffectée est combinée avec un dessin abstrait représentant la lumière, pour aboutir à une image mêlant réalisme et poésie. Le résultat final transcende une simple reproduction, proposant une interprétation visuelle enrichie de l’ambiance sonore initiale. Ce processus révèle le potentiel des outils numériques à créer des œuvres qui relient intimement la perception auditive et visuelle. À travers ces expérimentations, le projet souligne la capacité de l’intelligence artificielle à dépasser ses fonctions utilitaires pour devenir un véritable vecteur de création artistique.
Pour approfondir la réflexion sur les interactions entre le son et l’image, ce projet compare plusieurs outils d’intelligence artificielle, chacun apportant sa propre sensibilité au dialogue entre vision et audition. Adobe Firefly se distingue par une capacité à fusionner prompts textuels et images de référence, générant des compositions visuelles riches et souvent en adéquation avec l’ambiance sonore. Cependant, cette richesse peut parfois basculer vers un hyperréalisme marqué ou des esthétiques très codifiées, limitant l’interprétation.
Midjourney offre une autre approche, plus proche d’un peintre impressionniste. Ses images, empreintes d’une esthétique séduisante et parfois idéalisée, traduisent les sons en visions poétiques, explorant des horizons imaginaires. Mais cette recherche de beauté se fait au détriment d’une correspondance précise avec les nuances sonores, privilégiant l’émotion à l’exactitude.
Quant à DALL-E/ChatGPT, il privilégie une simplicité d’usage qui donne naissance à des images directement liées aux descriptions textuelles. Cette approche, efficace et pragmatique, produit des représentations claires, mais souvent moins riches visuellement, manquant parfois de profondeur ou d’originalité
L’exploration des correspondances entre son et image dépasse la simple expérimentation artistique pour interroger profondément les mécanismes de la perception humaine. Le projet soulève des questions essentielles, telles que l’influence des images sur l’interprétation des sons, ou encore la capacité d’un son à transformer notre lecture visuelle d’une scène. Ces interactions révèlent également l’importance des biais personnels et culturels dans notre perception synesthétique. En combinant des stimuli visuels et auditifs, le projet met en évidence la manière dont nous construisons une compréhension du monde qui repose sur l’interconnexion de nos sens. Ce processus n’est pas uniquement esthétique, mais invite à réfléchir sur la richesse des interprétations possibles et sur la subjectivité inhérente à toute expérience sensorielle. À travers ces correspondances, le lecteur est amené à redécouvrir la subtilité des liens entre vision et audition, tout en réévaluant les filtres perceptifs qui façonnent son rapport à la réalité.
Usages possibles et perspectives ?
En exposant des participants, qu’ils soient synesthètes ou non, aux correspondances générées par intelligence artificielle, il devient possible d’identifier des schémas communs dans les associations entre son et image, tout en analysant les variations culturelles ou individuelles. Ces expérimentations pourraient également révéler les mécanismes neuronaux sous-jacents, enrichissant notre compréhension des bases sensorielles et cognitives de la perception. Par ailleurs, les correspondances entre son et image ouvrent la voie à des applications en rééducation sensorielle. Pour les troubles de la vision, par exemple, l’association de sons à des images floues ou abstraites peut renforcer les capacités perceptives. Dans le cas de troubles auditifs, ces outils permettent d’aider les patients à reconstruire mentalement des scènes auditives à partir d’indices visuels. Enfin, la stimulation multisensorielle offre des opportunités dans les traitements des lésions cérébrales ou des maladies neurodégénératives, en exploitant la plasticité cérébrale pour améliorer les fonctions cognitives et perceptuelles.
Les corrélations dynamiques entre modalités visuelle et auditive, renforcées par les algorithmes de machine learning multimodal, ouvrent un champ inédit d’expérimentations à la croisée de la création artistique, de la pédagogie sensorielle et des neurosciences. En contexte muséal, ces couplages pourraient donner lieu à des dispositifs immersifs où la plasticité perceptive est sollicitée : la génération d’images à partir d’inputs sonores (et réciproquement) devient un médium d’exploration des circuits sensoriels croisés, en particulier chez les sujets neuroatypiques ou dans des contextes de rééducation sensorielle.
Des interfaces interactives, intégrant des moteurs génératifs comme Firefly ou Midjourney, permettraient une production individualisée de contenus visuo-sonores, favorisant une approche participative de la perception. Ces dispositifs pourraient être étudiés comme laboratoires d’auto-évaluation perceptive, avec recueil de données subjectives (verbatim, questionnaires) et objectives (trajectoires oculaires, activité électroencéphalographique) sur les modalités d’intégration multisensorielle. Les variations interindividuelles dans la perception croisée des stimuli deviennent ainsi des indicateurs précieux pour une meilleure compréhension des biais perceptifs ou des mécanismes de synesthésie latente.
L’intégration des technologies de réalité augmentée (RA) et virtuelle (RV) dans ces environnements ouvre par ailleurs des perspectives thérapeutiques et cliniques. En AR, l’incrustation contextuelle de paysages sonores à des environnements visuels quotidiens permettrait une modulation ciblée de l’attention ou de l’émotivité, dans une perspective de soin ou de neuro-entraînement. En RV, la création de mondes sensoriellement cohérents mais artificiels, entièrement dérivés de stimuli captés ou générés, pourrait servir à tester des scénarios perceptifs en situation contrôlée. Ces expériences immersives, si elles sont corrélées à des profils neurocognitifs, pourraient participer à la construction de protocoles de stimulation sensorielle personnalisée.
Le projet Versus, en se structurant autour d’une écologie sensorielle appliquée, interroge la hiérarchisation habituelle des stimuli perceptifs dans nos environnements saturés. Il valorise une posture d’ »écoute augmentée » et de « regard différé », invitant à une redécouverte des signaux faibles du quotidien (bruits de fond, micro-gestes, textures visuelles), et participe à une dé-hiérarchisation sensorielle féconde. Cette approche, en résonance avec les travaux en anthropologie du sensible et en cognition incarnée, permettrait de repositionner la perception comme acte critique et relationnel.
À plus long terme, les potentialités du projet s’étendent vers des axes de recherche transdisciplinaires associant neurosciences sensorielles, cognition multisensorielle, interaction homme-machine et pratiques artistiques. La mise en correspondance entre signaux hétérogènes, notamment à travers des algorithmes génératifs adaptatifs, pourrait permettre la construction d’outils diagnostics sensibles ou de modules éducatifs visant la remédiation perceptive. Enfin, la possibilité d’une personnalisation fine des environnements sonores et visuels ouvre des pistes concrètes dans le champ de la santé mentale, de la réhabilitation sensorielle ou de la scénographie thérapeutique
Enfin, ce projet montre comment technologie et art peuvent s’unir pour enrichir notre perception du monde. En explorant la capacité des outils d’intelligence artificielle comme Adobe Firefly, Midjourney ou DALL-E, il redéfinit les frontières de la création artistique tout en posant des questions sur nos sens et leurs interactions. Plus qu’une œuvre, 1 son 1 jour, 1 année se positionne comme un laboratoire d’idées, offrant des solutions novatrices pour la recherche, la santé, et l’éducation. En reliant art, science et société, il illustre la puissance de l’intelligence artificielle lorsqu’elle est mise au service d’une recherche créative et transformatrice, et ouvre la voie à des explorations encore plus audacieuses dans les années à venir.