L’application Le Geste dans l’air a été présentée début 2013 lors d’une soirée dédiée aux innovations réalisées par Orange en partenariat avec le Louvre-Lens.

L’innovation “Le Geste dans l’air”

Le mobile comme télécommande gestuelle pour découvrir des œuvres et les faire siennes

Avec l’innovation « le Geste dans l’air », l’idée était que le téléphone mobile devienne une télécommande gestuelle, pour visualiser des images d’œuvres d’art, se les approprier, les manipuler, les partager… Non retenue comme outil d’accompagnement de la médiation culturelle humaine du musée, cette expérimentation a cependant permis de faire avancer la recherche, notamment dans le domaine de l’interaction gestuelle.

Le Louvre-Lens au début de l’année 2013. Les invités à une soirée de présentation découvrent Le Geste dans l’air, l’une des trois expérimentations menées par les laboratoires Orange en partenariat avec le musée. Le dispositif est simple. En face de l’utilisateur : un écran principal distant. À sa main : un smartphone. Sur l’écran distant, qui fait office de serveur d’images, s’affichent des représentations numériques de 17 œuvres majeures de la Galerie du temps. L’utilisateur peut interagir avec cet écran via son mobile, visualiser les œuvres dans l’ordre qu’il souhaite, etc. L’une d’elle l’attire ? Il peut la rapatrier dans son appareil pour la conserver, en regarder les détails, et même la partager avec ses amis.

L’art autrement, en numérique

Grégoire Lefebvre, ingénieur de recherche des Orange Labs à Meylan, dans la région de Grenoble, expliquait :

Cette innovation a pour objectif de proposer de nouveaux modes d’interactions avec les œuvres, différentes de celle consistant à rester statique devant une œuvre du monde réel.

«Ce travail porte sur des œuvres numériques. Alors que, classiquement, le visiteur parcourt la Galerie du temps une œuvre après l’autre, ici, ce sont les œuvres qui viennent à lui pour aiguiser sa curiosité. Il peut ainsi constituer sa propre collection d’images d’œuvres favorites.» Pour cela, il a juste à utiliser son téléphone mobile comme télécommande gestuelle.

Une série de commandes concentrées en un geste

Cette innovation était basée sur l’utilisation de téléphones de haute technologie de l'époque embarquant des capteurs inertiels de dernière génération, comme les accéléromètres et les gyromètres, afin de reconnaître des gestes réalisés par l’utilisateur. Elle reposait sur l’idée qu’il est plus simple d’effectuer un geste pour rapatrier, par exemple, une image vers son téléphone, que de cliquer dans un menu, puis choisir des options comme «téléchargement» et «stockage». Tout ce processus était simplifié pour l’utilisateur, via de simples gestes spécifiques…

Dans un premier temps, le visiteur pouvait interagir avec son mobile sur les images qui s’affichaient sur l’écran distant. Il pouvait naviguer entre les œuvres proposées : en faisant un geste rapide vers la droite avec son mobile, il passait à l’image suivante. S’il renversait son téléphone, l’œuvre distante apparaissait à l’envers sur l’écran principal. Le visiteur pouvait aussi réaliser des zooms pour saisir la finesse d’une peinture, etc.

Mieux : pour rapatrier une image d’œuvre dans son mobile, le visiteur placé devant l’écran distant l’attrapait avec son smartphone comme l'aurait fait un pêcheur à la ligne. Il s’agissait du même geste dans l’air, sauf que là, il ne ferrait pas un poisson mais l’une des images proposées, le smartphone remplaçant la canne à pêche.

Une fois l’image rapatriée dans son appareil, il pouvait zoomer sur n’importe quel élément de la représentation de l’œuvre (un œil, un objet, etc.). Pour obtenir ce gros plan, il effectuait un geste rotatif dans le sens des aiguilles d’une montre autour de la zone qu’il souhaitait découvrir en détail, du bout du doigt sur l’écran du smartphone. Et pour dézoomer, il n’y avait qu’à accomplir le geste inverse.


Des commandes par signes pour agir sur les images d'oeuvres rapatriées dans le mobile.

Le signe comme commande

Certains signes dessinés directement sur l’écran du mobile servaient aussi de commandes pour agir sur les images rapatriées. Pour accéder aux informations relatives à l’œuvre, il suffisait de tracer du doigt un point d’interrogation. Pour fermer l’image sélectionnée, on dessinait un alpha. Et pour partager son expérience muséale avec ses amis ou sa communauté d’intérêt, on esquissait un cœur : un MMS s’ouvrait instantanément, pour expédier l’image de l’œuvre choisie. Une fois téléchargée, la galerie d’images restait disponible dans le mobile pour être regardée ultérieurement. En cas de doublon, ou pour effacer une œuvre, il suffisait de dessiner un Z.

La recherche se poursuit

L’équipe de recherche d’Orange qui a collaboré avec celle du Louvre-Lens sur cette innovation travaillait plus généralement sur la reconnaissance de gestes sur téléphone mobile et sur tablette. En effet, des applications de télécommande gestuelle sont en germe, en particulier pour suppléer l’utilisation des boutons de télécommande, par exemple faire tel geste pour couper le son de la télé, tel autre pour appeler un contact spécifique avec son mobile, voire effectuer une signature gestuelle dans l’espace tridimensionnel comme code d’accès au terminal…

Cette piste d’interaction muséale n’a pas été retenue pour être proposée de façon pérenne au Louvre-Lens, mais elle a contribué à faire avancer la recherche en matière de grammaire gestuelle. Ainsi, il n’est plus question aujourd’hui de faire un geste rotatif autour d’un point pour zoomer sur un détail : instinctivement, on a plutôt tendance à poser ses doigts sur la zone à visualiser et à les écarter pour obtenir l’effet de loupe. En résonance avec le développement de nos usages, la grammaire gestuelle numérique qui se met en place nous semblerait presque « naturelle » !

Écouter l’interview de Grégoire Lefebvre

Grégoire Lefebvre, chercheur à Orange Labs, Grenoble, parle en 2013 des pistes d’usage telles que la signature inertielle, qui pourraient découler demain d’expérimentations de télécommande gestuelle.

Durée : 2mn Télécharger

Et pour aller plus loin

Commentaires