Hand tracking Oculus : comment la caméra lit vos gestes

Trente recherches par mois. C’est le volume exact que Haloscan attribue à « oculus hand tracking » en 2026. Peu de monde tape cette requête. Et pourtant, la fonction qu’elle décrit équipe déjà tous les casques Quest vendus depuis 2020, sans manette, juste avec les mains nues devant les caméras infrarouges du bandeau.

Le principe mérite qu’on s’y arrête, parce qu’il dépasse largement le jeu vidéo. On en reparlait récemment à propos d’un autre terrain : le suivi des mains appliqué à la rééducation, où des ergothérapeutes mesurent l’amplitude d’un poignet après une chirurgie. Même capteur, même logique de squelette virtuel, usage radicalement différent.

Oculus hand tracking : que mesure réellement la caméra

Quatre caméras grand-angle, montées sur le bandeau du Quest 2 et du Quest 3, filment en infrarouge à 60 images par seconde. Pas de gants, pas de marqueurs collés sur la peau. Le système repère les contours de la main dans chaque image, puis reconstruit un squelette de 26 points : phalanges, paume, poignet.

Meta a publié ce chiffre dès 2020, lors du lancement du Quest 2 : 26 articulations suivies en temps réel, à une latence annoncée de 60 millisecondes. Ce n’est pas une estimation marketing arrondie. C’est la spécification technique du SDK, toujours affichée dans la documentation développeur en 2026.

La caméra ne lit pas un geste comme un mot. Elle lit une position dans l’espace, à chaque instant. Le « geste » n’existe que dans la couche logicielle au-dessus, celle qui compare une suite de positions à un modèle connu : pincement, pointage, poing fermé.

Des gestes aux commandes : le pipeline technique

Trois étapes, et aucune ne se discute. D’abord la détection : l’algorithme isole la main dans l’image infrarouge, même sur fond encombré. Ensuite le suivi squelettique : chaque articulation reçoit une coordonnée x, y, z, mise à jour 60 fois par seconde. Enfin la reconnaissance de geste : un réseau de neurones entraîné compare la posture à une bibliothèque de gestes de référence.

Le pincement pouce-index sert de clic principal dans l’interface Oculus depuis 2021. Un geste, une action. C’est simple à décrire, nettement moins simple à fiabiliser : la main gauche d’un gaucher et la main droite d’un droitier n’adoptent pas la même mécanique de pincement, et le modèle doit absorber cette variation sans se tromper.

Je trouve ce choix technique intelligent : Meta n’a pas cherché à reconnaître des centaines de gestes exotiques. Un pincement, un pointage, un poing. Trois gestes solides valent mieux que vingt gestes fragiles.

Précision et limites : ce que le capteur rate encore

Deux mains qui se croisent, et le système perd le fil. C’est le point faible documenté depuis la première génération de hand tracking : quand les doigts d’une main passent devant l’autre, l’occlusion casse la reconstruction squelettique pendant une fraction de seconde. Le logiciel improvise alors une position probable, pas mesurée.

La lumière compte aussi. En plein soleil, les caméras infrarouges saturent et perdent le contraste des doigts. À l’inverse, dans le noir complet, elles ne voient plus rien du tout : l’infrarouge actif a une portée limitée, autour d’un mètre selon les retours d’utilisateurs rassemblés sur les forums développeurs Meta.

Je ne mettrais jamais ce système entre les mains d’un métier qui exige une précision millimétrique sans contrôle. Pour piloter un menu ou pointer un objet virtuel, la marge d’erreur ne gêne personne. Pour un geste qui doit être reproduit à l’identique, deux fois, trois fois, à quelques millimètres près, ce n’est pas l’outil.

Du jeu vidéo à l’usage professionnel

Le hand tracking a d’abord servi à ranger les manettes au tiroir. Puis les entreprises s’en sont emparées pour autre chose : la formation en réalité virtuelle. Un technicien apprend à démonter un moteur sans manette, juste avec ses mains, dans un environnement simulé.

Microsoft a suivi la même voie avec le HoloLens 2, dont le suivi des mains repose sur une architecture proche : caméras de profondeur, squelette reconstruit, gestes calibrés. Deux fabricants, deux casques, une même intuition : la main nue reste l’interface la plus directe qu’on puisse offrir à un utilisateur.

Ce que j’observe depuis 2020, c’est un glissement net du loisir vers le professionnel. Les salons automobiles, les écoles de chirurgie, les ateliers industriels : tous testent aujourd’hui des scénarios de hand tracking qui n’existaient dans aucun cahier des charges il y a cinq ans.

Vie privée : que deviennent les données de votre main

Une main filmée, ce n’est pas une donnée anodine. La forme des doigts, les proportions, la façon de pincer : ce sont des éléments biométriques, au même titre qu’une empreinte digitale ou qu’un visage scanné. C’est un sujet qu’on retrouve régulièrement du côté de l’authentification biométrique, où les mêmes questions de consentement et de conservation se posent avec la même acuité.

Meta affirme traiter les données squelettiques localement, sur le casque, sans les envoyer sur ses serveurs par défaut. C’est ce qu’indique la politique de confidentialité Quest publiée en 2023, et rien dans les mises à jour 2024-2025 n’a modifié ce point. Je préfère un traitement local, point final : ça réduit la surface d’exposition, même si ça n’élimine pas le risque d’une application tierce mal codée qui, elle, exporterait ces données ailleurs.

Ce qui reste à vérifier avant d’adopter l’outil

Avant d’équiper une équipe entière, posez trois questions concrètes. Quelle application tierce accède réellement au flux squelettique, et pour quoi faire ? Quelle luminosité règne dans la salle d’utilisation, sachant que l’infrarouge déteste le plein soleil ? Et surtout : le geste visé tolère-t-il une petite marge d’erreur, ou exige-t-il une précision que la caméra ne garantit pas ?

Le hand tracking Oculus fait bien ce pour quoi il a été conçu : remplacer une manette par un geste naturel, dans un cadre où l’erreur ne coûte rien. Pour tout le reste, posez la question avant d’acheter, pas après.

Questions fréquentes

Le hand tracking fonctionne-t-il dans le noir ?

Non. L’infrarouge actif a une portée limitée, autour d’un mètre, et perd le signal dans l’obscurité totale comme en plein soleil direct.

Faut-il un capteur externe pour l’activer ?

Non, les quatre caméras du bandeau suffisent sur Quest 2 et Quest 3. Aucun gant, aucun marqueur collé n’est nécessaire.

Les données de la main sont-elles envoyées à Meta ?

Selon la politique de confidentialité Quest de 2023, le traitement squelettique s’effectue localement, sur le casque, sans envoi par défaut vers les serveurs.