La réalité augmentée comme nouveau périphérique d’interaction ?

Depuis le début de l’informatique, on utilise le clavier d’abord pour saisir des lignes de commandes, puis avec l’arrivée des premiers logiciels de traitement de texte à saisir du texte.
Et ceci, malgré l’arrivée des interfaces graphiques toujours plus ergonomique, cela n’a pas évoluer: on utilise toujours un clavier physique pour saisir nos champs de saisies, rédiger nos courrier, faire des « raccourcis clavier » sous photoshop/gimp/maya/blender… et autres logiciels de DAO
Idem pour les logiciels de montages (et bien sur les jeux)
La souris, elle, n’est arrivée qu’au début des années 80 (même si elle fût crée dans les années 60), elle a permis d’améliorer grandement notre utilisation de l’ordinateur, en permettant de cliquer/cochez, déplacer des éléménts des curseurs… plus facilement.

Des périphériques de saisies qui n’évoluent plus
Mais ça fait tout de même 30 ans que ceux-ci nous accompagne, et à part ajouter quelque touches sur le clavier, des lumières sur l’un et des boutons/molettes supplémentaires sur le second, ils n’ont plus vraiment évolué depuis.

Dans le reste de la famille, tous ont évolué
Des écrans devenus ultra plat (face aux cathodiques d’antant), des unités centrales plus petites, des disques durs sans mécanique, du réseau sans fil…
Tous les autres composants/périphériques évoluent sauf nos bons vieux claviers/souris (mis à part le passage de la boule au laser…)
On a également vu nos écran devenir eux-même des périphériques de saisie avec l’arrivée et la démocratisation du tactile, certains edieur d’OS ont même fait évoluer leur interface dans ce sens.

Ne sous exploitons pas la puissance de la réalité augmentée
Il existe une technologie qui malheureusement comme le souflée a suscité au départ beaucoup d’idées pour finalement être aujourd’hui très sous exploitée: la réalité augmentée.
Celle-ci est utilisée aujourd’hui pour le monde ludique avec Kinect(microsoft), le marketing d’ Atol (qui permet d’essayer des lunettes en ligne), dans certains applications sur smarphone (on voit à l’écran la rue avec des indications supplémentaires comme le métro, les restaurants…) , ou dans de futurs produits comme les Google Glass
Mais aujourd’hui, avec le prix des webcam en chute libre et leur qualité grandissante, on pourrait utiliser cette réalité augmentée chez nous, dans notre quotidien :)

Et si on inventait un nouveau mode d’interaction
Il y a deux différentes façons d’utiliser cette technologie:
1. en ayant des éléments réels identifiés qui servirait d’interface:
2. en comptant sur la reconnaissance de nos mains pour interagir avec l’application

Première solution en utilisant des élements physiques reconnu dans nos applications.
Imaginez par exemple qu’en fonction de l’application que vous utilisez, vous pouviez sortir une plance A4 ou plus grand comprenant les boutons nécessaires pour décharger l’application de ceux-ci
Ainsi, au lieur d’user de raccourcis clavier, vous auriez des boutons avec des visuels/icones plus reconnaissable :)
C’est une manière de gagner de la place à l’écran et d’avoir votre bureau organisé comme vous l’entendez.
Pour rendre ceci plus modulable, on pourrait imaginez des boutons/icones aimantés, et ainsi posez des surfaces en metal ou simplement métalique sur votre bureau avec les boutons/icones/raccourcis disposés où vous le souhaitez.
Vous changez d’application ? pas de soucis, rangez cette plaque et prenez celle de l’autre application ;)

Deuximème solution: utilisez vos propre mains comme périphérique virtuelle: allez cliquez sur un icone, prenez et tourner un objet en 3d.
Quelques exemples:
En 3D:
Prenez un objet dans les mains et redimensionnez le avec vos deux mains, déposez le où vous le souhaitez, tourner le pour travaillez sur une partie précise, et user de votre souris quand vous souhaitez être plus précis.

En montage vidéo:
Prenez dans une main votre piste vidéo, pendant que dans la seconde vous activez un effet dessus.
Prenez votre piste a deux mains et redimensionnez la, voir posez la sur votre bureau pour la mettre de coté.

Je vous invite a regader ces vidéos pour voir ce qu’il est possible de faire:
http://cg.cs.uni-bonn.de/fileadmin/Downloads/Hand-Tracking/assembly-simulation.wmv
Ou celle-ci http://cg.cs.uni-bonn.de/aigaion2root/attachments/hybrid-cursor-video.avi

Conclusion
Vous avez pu voir ici des idées d’utilisation de la réalité augmentée comme un nouveau périphérique pour votre ordinateur.
Note: certaines vidéos date de 2009 (soit 4 ans) ce qui est énorme en informatique, depuis les webcam et nos processeurs ce sont encore amélioré, et l’on peut imaginer une meilleure précision ainsi qu’une meilleure analyse de nos mouvements plus fluide.
Note 2: souvent les démonstrations montre des mains levés pour manipuler des éléments de l’interface, nous avons bien conscience que ceci pourrait s’avérer gênant et fatiguant à l’usage. Il vaudrait mieux filmer nos mains à plat sur le bureau.

Personnellement je préferais mixer les deux modes d’utilisation: filmer le bureau qui contiendrai des élements physiques d’intéraction (boutons/raccourcis..) ainsi que la prise en compte de nos deux mains car le fait de pouvoir utiliser les deux en même temps, et de manière complémentaire serait un vrai plus.
Qui n’a jamais pensez ouvrir de sa main gauche un repertoire pour y coller de la main droite des fichiers ;)
C’est toujours un peu frustrant en 2013 de n’avoir que sa souris pour interagir à l’écran, rien que le fait d’en avoir deux (avec deux curseurs à l’écran) pourrait nous faire gagner du temps au quotidien :)
Après on peut imaginer pour optimiser la reconnaissance de nos mains, soit une ou plusieurs bagues à mettre, soit un simple gant, ou comme sur certaines démonstrations des doigtier de couleurs.
Retenez également que toutes ces idées ne demanderait que très peu d’investissement pour gagner en confort contrairement au tactile qui nécessite changer son écran entier :(

sources:
Realitée augmentée chez atol: http://www.opticiens-atol.com/collections-atol/realite-augmentee/index.php
L’application Metro Paris: http://www.metroparisiphone.com/
Une idée d’interaction avec nos interfaces http://cg.cs.uni-bonn.de/en/projects/markerless-vision-based-hand-tracking-for-interaction/