Oculus Quest 2 : jusqu’où va vraiment le hand tracking sans manettes

Vous avez sorti votre Oculus Quest 2 du placard, lancé un menu, et levé les mains devant le casque sans toucher aux manettes. Ça fonctionne. Mais jusqu’où, exactement ?

C’est la question que je me pose chaque fois qu’un lecteur me demande si le hand tracking peut remplacer un vrai capteur de gestes dans un cadre plus sérieux que le jeu. Pour fixer les idées : un usage proche existe déjà, le suivi des mains en rééducation, où la précision du geste compte bien plus que dans un salon.

Oculus Quest 2 : ce que le capteur voit réellement de vos mains

Le Quest 2 n’a pas de capteur dédié aux mains. Il reconstruit votre squelette à partir des quatre caméras grand angle déjà utilisées pour le suivi de l’espace (le fameux Guardian). Ces caméras tournent en monochrome, à faible résolution, et c’est un algorithme embarqué qui déduit la position de 21 points par main.

Concrètement : dès que vos mains sortent du champ des caméras frontales, le système les perd. Pas de rattrapage magique, pas de capteur caché sur le côté. Si vous croisez les bras ou que vous tendez une main vers l’arrière, l’avatar se fige ou dérive.

C’est la première chose à savoir avant d’y bâtir un usage sérieux : le hand tracking du Quest 2 est un suivi optique de surface, pas une capture de mouvement complète.

Précision du hand tracking : où ça coince encore

Meta annonce un suivi fluide pour les menus et la navigation. Sur ce terrain, c’est vrai : pointer, sélectionner, faire un geste de pincement pour valider, tout ça marche bien depuis les mises à jour logicielles de fin 2021.

Ce qui coince, c’est la finesse. Deux doigts qui se superposent, une main partiellement masquée par l’autre, un éclairage faible : le squelette reconstruit saute, tremble, ou affiche une pose impossible pendant une fraction de seconde. Pour appuyer sur un bouton virtuel, ce n’est pas grave. Pour mesurer un angle d’articulation au degré près, ça l’est.

Je ne recommanderais jamais ce capteur pour une mesure fine du geste. Il a été pensé pour de l’interaction, pas pour de la mesure.

Jeux et applis qui exploitent ce suivi sans manette

Dans Horizon Worlds, le mode mains sert surtout à pointer et saluer. Dans certaines applications de méditation ou de dessin dans l’espace, le geste libre apporte un vrai confort : pas de manette à tenir, les mains restent naturelles.

Les jeux d’action rapide, eux, continuent de préférer les manettes. La latence et les pertes de tracking disqualifient le hand tracking dès qu’il faut réagir en une fraction de seconde. L’erreur classique : croire que parce qu’une démo marche bien en navigation lente, elle marchera aussi bien sous pression. Ce n’est pas le cas.

Rééducation et usages médicaux : une limite technique à connaître

C’est là que je suis le plus prudent. Des professionnels testent des exercices de mobilité fine avec des casques grand public, séduits par le coût très inférieur à un système de capture dédié. Le problème reste le même que plus haut : dès qu’une main masque l’autre, ou que l’éclairage de la pièce change, le suivi perd en fiabilité.

Pour un exercice de motricité globale (lever le bras, ouvrir et fermer la main), ça peut suffire à motiver un patient. Pour une mesure clinique d’amplitude articulaire, non : il faut un outil pensé pour ça, avec un étalonnage et une traçabilité du relevé. Confondre les deux, c’est le genre d’erreur qui finit par fausser un dossier de suivi.

Vie privée : que fait le casque des images de vos mains ?

Les images brutes des caméras ne quittent pas le casque pour le calcul du squelette : le traitement est local, en temps réel. Ce qui m’intéresse davantage, c’est ce que fait l’application qui reçoit ensuite les coordonnées de vos mains, pas les images elles-mêmes.

Une appli peut enregistrer vos gestes, les horodater, les associer à votre compte. C’est exactement le genre de portée d’accès qu’il faut vérifier avant d’installer quoi que ce soit, qu’il s’agisse d’un casque VR ou d’un système de reconnaissance biométrique en entreprise : la question n’est pas si l’outil sait bien faire, c’est ce qu’il peut faire avec les données qu’on lui confie.

Verdict : pour quel usage l’activer dès maintenant

Pour naviguer dans les menus, dessiner en l’air, ou faire une démo sans manette : activez-le, c’est fiable et agréable. Pour tout ce qui exige une mesure fine du geste, en rééducation ou dans tout contexte proche d’un système de reconnaissance visuelle à enjeu réel, gardez un outil dédié à côté, calibré pour ça.

Le hand tracking du Quest 2 n’a jamais été conçu pour remplacer un capteur de précision. Il a été conçu pour vous faire oublier la manette dans un salon. Tant qu’on garde cette limite en tête, il n’y a pas de mauvaise surprise.