En gestation depuis quelques semaines, un nouveau projet va bien m’occuper mes (quelques) temps libres dans les mois qui viennent. Il s’appelle “HybridWorld” pour le moment, je verrai plus tard si j’en reste là ou pas…

Comme son nom l’indique HybridWorld est un projet d’hybridation des deux mondes dans lesquels nous évoluons au quotidien, celui tangible des choses “réelles” - notre environnement physique, nos relations, les objets qui nous entourent - et celui plus immatériel de notre environnement numérique - objets virtuels, avatars, contenus de toutes sortes.

Le problème est que ces deux mondes se côtoient sans jamais s’interpénétrer… Nous sortons dans nos villes, nous nous promenons dans nos rues, nous rencontrons nos amis. Devant nos écrans nous consultons nos messages, nous regardons des films et écoutons de la musique, échangeons des informations, postons des photos et des vidéos, consultons des sites web.

La très grande majorité de ces contenus numériques concernent à un degré ou à un autre leur pendant “physique” : nous consultons le site web d’une institution culturelle en ville, nous dialoguons sur Facebook avec des êtres de chair et de sang,  nous postons sur Flick des photos de lieux que nous avons visités, nous commentons des films actuellement dans les salles, etc.

Pour autant la rencontre en un espace unique commun de tous ces individus, événements et objets ne se réalise jamais… Tout se passe comme si ces deux univers étaient condamnés à se superposer sans jamais se mélanger. On a l’impression d’être dans une sorte de théâtre où deux pièces se joueraient simultanément mais sans qu’on puisse jamais entendre les acteurs de l’une donner la réplique à ceux de l’autre - comme si l’on pouvait voit l’une avec l’oeil droit et l’autre avec l’oeil gauche sans jamais avoir la possibilité de fusionner le tout en un spectacle unique où textes, acteurs et décors mis en perspective se fondent…

Le projet HybridWorld se propose donc de monter un dispositif complet d’hybridation entre monde réel (une rue de Strasbourg) et monde numérique (un ensemble d’objets numériques). Un avatar 3D servira d’interface et de médium entre ces deux mondes, et à travers ses expérimentations (il sera sensible et réactif aux événements aussi bien réels que virtuels) nous explorerons diverses facettes des interactivités possibles entre ces mondes. HybridWorld consiste à réaliser cet espace commun par le biais de cet avatar, un personnage virtuel utilisé comme point-pivot de cette double scénographie, une sorte de médium faisant interface et rendant ces scènes simultanément visibles à travers son regard (webcam) et ses interactions. En effet, par un dispositif technique mixé, il sera capable de “voir” les deux mondes en simultané et donc d’interagir avec eux simultanément.

• il pourra identifier des personnes qu’il connaît lorsqu’elles passent dans la rue où il sera installé (outils de reconnaissance faciale) et apprendre à reconnaître celles qu’il ne connaît pas encore.
• il pourra dialoguer avec elles (intelligence artificielle), afficher des informations sur elles (réalité augmentée), se diriger vers elles si elles l’appellent (motorisation du dispositif), etc.
• il pourra identiquement reconnaître les “habitants” du monde numérique (robots animés, objets, autres avatars…) et entrer en relation/interagir avec eux.
• par les informations qu’il distribuera, il pourra permettre aux objets animés virtuels de se déplacer dans l’espace physique (une rue de Strasbourg) en évitant les obstacles (coins de rues, voitures garées).
• par des technologies RFID/NFC il sera sensible aux gestes des personnes réelles proches de lui, ce qui aura des incidences sur les objets numériques posés à proximité.
• etc.

Ces quelques exemples montreront comment une interactivité entre mondes réels et virtuels sont exploitables, et comment leur hybridation via l’avatar est source d’expériences nouvelles dans notre relation à nos différents environnements.

La rue de l’expérience devient ce théâtre où se déroulent deux pièces simultanées, chacune avec ses acteurs, ses accessoires et leurs rôles propres, et l’avatar, en tant que double de nous-même, interagit avec chaque pièce pour n’en faire plus qu’une seule. L’irruption de l’avatar, être mi-réel mi-virtuel, réordonne les différents niveaux d’espaces pour leur permettre de communiquer d’abord en mode direct (avatar->réel / réel->avatar / virtuel->avatar / avatar->virtuel) puis en mode alterné (réel->avatar->virtuel / virtuel->avatar->réel) et enfin en mode hybride (réel+virtuel->avatar / avatar->réel+virtuel). La seule présence de l’avatar permet alors à chaque univers d’avoir accès à l’autre dans la même temporalité et la même localisation.

Toutes sortes de technologies seront à apprivoiser, à mixer et à faire travailler ensemble : réalité augmentée, géolocalisation GPS, reconnaissance d’objets, capteurs inclinomètre et accéléromètre, gyroscope, stream video en live, web 3D, messagerie/SMS, capture d’écrans, canvas HTML5, bref, un vrai petit paradis pour g33k ;-)

Je posterai peu à peu des vidéos expérimentales mixant l’une ou l’autre de ces technos à mesure qu’elles se monteront. J’ai commencé ce matin en postant trois petites vidéos sur http://www.realites-augmentees.com sur le thème “j’ai une vidéo à l’écran et je veux reconnaître un visage puis lui attribuer des informations qu’il faudra me ressortir quand il repassera devant moi”. Cette étape s’appelle ARface, elle consistera au final à détecter ce que verra l’avatar virtuel via sa webcam (scène réelle de rue filmée et retransmise en direct) et à surajouter des informations en RA sur la personne concernée. A partir de ces informations, une interaction entre cette personne et l’avatar devient possible. Pour commencer la saluer par son nom puis se diriger vers elle par exemple ?

Le projet HybridWorld terminé sera expérimenté en direct au printemps ou cet été. Il sera simultanément consultable en vrai, sur place, ou en ligne par retransmission en webcast live de l’expérience. Stay tuned !