1
2
3
4
5

Deux exemples de «réalité diminuée» imaginés par Jan Herling et Wolfgang Broll.

À Tokyo, le N Building de Qosmo et Terada Design, un bâtiment communicant qui délivre des informations sur ses habitants.

La ville augmentée vue par Keiichi Matsuda.

L’un des concepts futuristes imaginé par Mac Funimazu : un terminal mobile fin, transparent, et connecté en permanence à la Toile.

Sixth sense de Pranav Mistry : un ordinateur qui répond au doigt et à l’œil.

Visions pour un futur augmenté

Rêves – concrets – pour notre quotidien, nos villes et nos maisons de demain

Dans un avenir hyper-connecté, les immeubles, la ville et le réel dans son ensemble pourraient communiquer avec nous et nous répondre au doigt et à l’œil.

Nous vivons la préhistoire de la réalité augmentée. La question de savoir comment elle pourrait se concrétiser demain au cœur de nos cités, et plus largement de nos vies, reste donc totalement ouverte à tous les possibles. Sera-t-elle à l’image du N Building au cœur de Tokyo ? Ressemblera-t-elle aux visions de Keiichi Matsuda dans ses vidéos Domestic Robocop et Augmented City 3D ? Sera-t-elle au contraire une «réalité diminuée» comme celle de Jan Herling et Wolfgang Broll ? Ou prendra-t-elle la forme des inventions de Mac Funimazu ou de Pranav Mistry ?

Des environnements, oui, mais intelligents !

La ville de Bordeaux a éparpillé 600 marqueurs 2D pour inciter chacun à sortir son smartphone. Mais d’autres projets plus expérimentaux se développent. Des laboratoires universitaires travaillent depuis quelques années sur tous les aspects de la réalité augmentée, dont en particulier sur ce qu’on appelle les «ubiquitous» ou «responsive environments» : les environnements intelligents. Et le résultat de ces travaux commence à se matérialiser dans le réel, en particulier au Japon.

Deux bureaux d’architecture - Terada Design et Qosmo - ont ainsi entièrement rhabillé le N Building, un immeuble commercial situé près de la station de métro Tachikawa à Tokyo. Leur idée ? Elle est d’abord de l’ordre de la «diminution» : se débarrasser des enseignes lumineuses des sociétés locataires qui enlaidissent les bâtiments et polluent la ville. Vient ensuite l’aspect «augmenté» : la façade du lieu a été conçue comme un gigantesque tag 2D permettant aux visiteurs d’accéder à tous types d’informations, dont bien sûr celles liées aux magasins derrière cette façade. Une application de réalité augmentée, sur smartphone, permet de faire vivre la surface de l’immeuble via des images des boutiques à l’intérieur, des représentations des personnes qui y travaillent mais aussi des messages que ces employés ou habitants envoient sur Twitter, messages qui apparaissent, dans des bulles, sur les écrans de tous. L’immeuble devient ainsi une interface de communication et d’accès à l’information, et la démonstration vivante de l’un de nos futurs envisageables en réalité augmentée.

La vidéo de présentation du N Building de Qosmo et Terada Design, bâtiment en réalité augmentée au cœur de Tokyo depuis la fin 2009.

La cité pour cyborgs de Keiichi Matsuda

Les personnages des deux petits films de prospective de Keiichi Matsuda, Domestic Robocop et Augmented City 3D, ne tiennent pas de smartphones à la main et n’ont pas, au premier regard, de lunettes de réalité augmentée. Auraient-ils des lentilles de RA ? Ou pourquoi pas un implant connecté à Internet ? Pour Matsuda, les relais technologiques de cette augmentation du réel par le virtuel n’ont pas d’importance, notamment parce qu’ils devront forcément devenir de plus en plus transparents au fur et à mesure du temps.

Dans un avenir où auront presque disparues les frontières entre le public et le privé, le bureau et la maison, l’extérieur et l’intérieur, les architectes et décorateurs devront peut-être pointer au chômage, ou devenir également programmeurs pour permettre à chacun d’habiller en réalité augmentée ses propres espaces de vie. Certes, il nous faudra toujours des toilettes bien définies comme telles. Mais pour le reste, selon le jeune designer et architecte, toutes les pièces de nos maisons et de nos entreprises pourraient être configurables à loisir et selon les moments en «salle à manger», «salle de conférence», «librairie», «boutique», ou pourquoi pas (mais ça il ne le dit pas) en «chambre à coucher» avec canapés pliables. Les lieux seront «liquides». Ils s’adapteront à nos humeurs, entre le calme et la frénésie, et à nos activités, seuls ou au contraire avec des collègues, notre compagnon ou nos enfants. Nous pourrons d’ailleurs décider nous-mêmes de transformer tel mur, telle affiche ou telle image de notre environnement au fur et à mesure de nos pas.

Domestic Robocop : le premier film court présentant la vision qu’a Keiichi Matsuda de la «réalité (hyper) augmentée» de notre maison du futur, en particulier la cuisine...

Keiichi Matsuda, qui vit entre Londres et Tokyo, a voulu dessiner avec ses deux courtes vidéos une métaphore de notre futur proche. Un futur angoissant pour certains, mais qui séduira celles et ceux d’entre nous qui iront jusqu’au bout de l’électronomadisme. À le suivre sur cette voie, nous ne sommes pas loin d’être d’ores et déjà des cyborgs, autrement dit des «transhumains» ou des «posthumains», c’est-à-dire des individus augmentés par la technologie pour mieux nous orienter et prendre nos décisions dans un monde urbain proche de l’overdose d’informations. Ce qui frappe, dans Domestic Robocop et Augmented City 3D, c’est justement cette avalanche de signes, d’icônes, de boutons, de graphiques et de symboles numériques, voguant dans l’espace. Comme un nouveau langage que nous devrions maitriser pour décrypter en permanence notre environnement urbain au quotidien.

Cet avenir «augmenté», le jeune homme l’imagine, sans crainte du paradoxe, selon les règles et les plaisirs à la fois de la satire et de la spéculation, de la vision utopique et du travail critique. Surtout, dans ses interviews, il reconnaît que l’enjeu, pour des designers comme lui dans un monde où Internet sera partout, sera sans doute de réussir à faire disparaître bien plus qu’à créer d’autres interfaces, bref à gommer plus qu’à multiplier les objets et signes de notre nouveau monde numérique.

Augmented City 3D est la suite du film précédent, la vision de l’auteur s’élargissant ici à d’autres lieux urbains, notamment à l’extérieur, entre le café bibliothèque et les transports en commun.

L’écran magique de Mac Funimazu

Dans le genre votre environnement vous parle ou vous informe, Mac Funimazu, jeune et talentueux designer japonais, va aussi loin de Keiichi Matsuda, mais y ajoute une dimension plus immédiatement opérationnelle. Avec son «Future of Internet Search Mobile Version», Funimazu propose d’inverser le concept de recherche d’information sur le Net, et de recherche encyclopédique en général. A travers son écran magique, un terminal mobile ressemblant à une grande diapositive transparente qui intègrerait téléphone, caméra, scanner et Wi-Fi, le réel devient l’interface de recherche.

Muni de cet appareil, mille fois plus évolué que n’importe quelle tablette multimédia, il suffirait de cadrer une place pour savoir où l’on est dans la ville, un monument pour savoir qui l’a construit. Ou encore de poser le doigt sur l’un des étages d’un immeuble, sur une voiture ou sur un animal pour connaître respectivement son nom et ses occupants, sa marque ou son espèce. Toutes les informations disponibles sur le Web sortiraient instantanément de l’écran transparent pour venir s’afficher «sur» le réel tangible lui correspondant.

Ce dispositif enrichirait également la lecture. Il suffirait de sélectionner dans un article le nom d’une ville inconnue ou un mot incompris pour que cartes, définition  et informations diverses s’affichent à l’écran.


Tablette "magique" de Mac Funimazu.

Dans un autre genre, Mac Funimazu a imaginé une application de réalité augmentée très ingénieuse pour assister les malentendants. Comment parlent les héros de bandes dessinées ? Par texte écrit et bulles interposées. Or les sourds voient, et si leur téléphone mobile pouvait traduire les propos de leurs interlocuteurs et les sons environnants en bulles, alors ils pourraient lire et comprendre, à défaut d’entendre ce qu’on leur dit. Les flèches de ces «bulles parlantes» indiqueraient qui parle ou d’où provient le son, les mots accentués seraient transcrits en gros caractères, les cris dans des bulles spéciales, les sonneries avec une couleur différente, etc. Et le tout pourrait s’afficher sur l’écran ou sur des lunettes qui superposeraient ces bulles à la vue réelle.

Le principe semble évident, même si la mise en œuvre de cette application nécessite des technologies sophistiquées. Le smartphone devra en effet disposer non seulement d’une caméra mais de micros très sensibles : monodirectionnels pour ne capter que ce que dit l’interlocuteur sur qui la caméra est pointée et omnidirectionnel pour capter les paroles et les sons ambiants. Le logiciel de traitement de sons devra être capable de spatialiser et localiser les sons, de discriminer les sons signifiants du bruit ambiant, d’analyser les niveaux sonores puis de traduire tout ça en textes et en bulles. Ce rêve deviendra sans doute réalité. Il n’est pour l’heure qu’un des concepts généreusement mis en ligne par Mac Funimazu sous licence Creative Commons.


Vous entendez mal ? Le système de réalité augmentée de Funimazu vous fait voir le monde comme une bande dessinée sophistiquée.

Le 6e sens de Pranav Mistry : la RA au bout des doigts

Personnage lui aussi visionnaire, l’Indien Pranav Mistry a eu la chance de profiter des moyens du fameux Medialab du MIT (Massachusetts Institute of Technology) de Boston pour mettre en œuvre ses idées. En 2009, il a présenté le résultat de ses recherches : son SixthSense device est un prototype d’interface gestuelle portable qui non seulement augmente le monde physique environnant d’informations numériques mais augmente aussi les capacités humaines de perception.

Aux cinq sens utilisés habituellement pour percevoir le monde et interagir avec lui, Pranav Mistry ajoute un sixième sens, une sorte d’exo-sens machinique. Dans ce couple homme-machine l’ordinateur fournit à l’humain des informations et des fonctionnalités complémentaires. Ils communiquent non plus via des écrans et des claviers, mais de manière beaucoup plus intuitive. Pour capter ces informations complémentaires et les intégrer au réel, Pranav utilise en effet la plus naturelle des interfaces : les mains.

A l’aide d’un projecteur de poche, d’un miroir et d’une caméra reliés à un terminal mobile, il devient possible d’utiliser n’importe quel mur pour y projeter de l’information. La caméra détecte les mouvements des quatre marqueurs de couleur enfilés au bout des doigts, reconnaît les gestes effectués et les traduit en instructions appelant l’affichage sur une surface désignée de telle ou telle fonction ou information. Une application permet de naviguer et de zoomer sur une carte, une autre de dessiner des symboles correspondant à des instructions (exemple @ appelle l’application mail), une autre de prendre des photos en formant un cadre avec ses doigts. Dernier exemple, ovationné par le public lorsqu’il a présenté Sixth Sense : Pranav Mistry tient un journal dont l’image de Une se transforme en vidéo.

Dans ses interviews comme dans toutes ses vidéos de présentation, Pranav Mistry insiste beaucoup sur le côté tout à fait simple et surtout très peu cher de sa technologie (350$, soit 300€). On le sent motivé par l’accessibilité de son interface aux pays émergents, dont bien évidemment l’Inde. Depuis 2011, un site contributif met à disposition informations et programme pour fabriquer son propre Sixth Sense et développer des applications.

The Sixth Sense : le projet d’un ordinateur intégralement conçu selon les principes de la réalité augmentée, par un chercheur indien du MIT, Pranav Mistry.

Herling et Broll : cachez ce réel que je ne saurais voir

Deux chercheurs du département Virtual Worlds and Digital Games de l’Université de technologie de Ilmenau (Allemagne) ont lancé à la mi-octobre 2010 une application non pas additive mais suppressive de réalité. Elle consiste non plus à ajouter en temps réel des éléments calculés (virtuels) à un environnement saisi par caméra, mais à en retirer les éléments tangibles désignés par l’utilisateur, afin de calculer et restituer une image (virtuelle) de l’environnement ainsi modifié.

A peine dévoilée par Jan Herling et Wolfgang Broll lors de l’International Symposium on Mixed and Augmented Reality (ISMAR) de Séoul , la «diminished reality» (réalité diminuée) a fait un tabac sur le Net. Des dizaines et des dizaines de sites ont repris la démo vidéo, spéculant sur les applications futures de ce prototype. Rares sont ceux qui ont souligné qu’en dépit d’une dénomination suggérant la nouveauté, il ne s’agissait que d’une des multiples variantes de ce qu’on pourrait appeler la «réalité assistée par ordinateur» ou la réalité mixte.

La technique est simple : l’objet désigné par l’utilisateur est détecté par le système qui réduit progressivement sa résolution, autrement dit effectue un «floutage». Puis il le supprime et effectue ensuite un lissage du fond en augmentant sa résolution. Soit une fonction standard de logiciels comme Photoshop ou Gimp. Ces calculs sont effectués pour chaque image en 41 millisecondes, soit quasiment en temps réel. Un procédé similaire est déjà utilisé depuis des années pour flouter les publicités indésirables dans les stades ou les circuits automobiles. Il nécessite cependant une puissance de calcul que n’ont pas encore les terminaux mobiles.

Le buzz qui a suivi la sortie de l’applicatif de l’Université d’Ilmenau n’est donc pas tant lié à la technique mise en oeuvre qu’aux phantasmes que suscite la possibilité de falsifier le réel. On pense à l’histoire réécrite à l’infini de la guerre sans fin entre Oceania, Eurasia et Eastasia dans le roman 1984 de George Orwell. On pense aux manipulations, historiques elles aussi, de photographies chères à Staline, et aux scenarii qu’elles ont inspirés comme le film Forest Gump de Robert Zemeckis (où l’acteur se glisse sur une photo avec le président des États-Unis). Faire disparaître des personnes ou des situations gênantes, en effacer toute trace mémorielle, est un grand classique des régimes dictatoriaux, réels ou de science-fiction, qui à la fois fascine et fait peur.

Rien de tel, pour l’instant, dans les applications envisagées pour cet outil, quoique... On parle de «floutage» à discrétion de lieux ou visages dans Google Street View. Les deux chercheurs envisagent de connecter le système à une paire de lunettes pour filtrer à volonté notre quotidien visuel. Fini le harcèlement des panneaux de pubs et des enseignes lumineuses, des affiches aguicheuses sur les abribus et les façades. On n’est finalement pas si loin du fantasme d’une réalité manipulée, expurgée de tout ce qui dérange. Une réalité où, à défaut de trouver des solutions, on ferait disparaître décharges à ciel ouvert, pollutions qui font peur, et quartiers de misère. Mais jusqu’ici tout va bien, tout cela n’est que pure science-fiction....

La démo vidéo, un peu racoleuse, de la «diminished reality» des deux chercheurs allemands.

Et pour aller plus loin

 

Commentaires