Hand tracking en rééducation : ce que la caméra mesure vraiment

Pendant longtemps, mesurer le mouvement d’une main demandait un équipement lourd : gants à capteurs, marqueurs collés sur les doigts, caméras infrarouges calibrées. Aujourd’hui, une webcam d’ordinateur portable et un modèle de vision par ordinateur suffisent pour repérer en temps réel la position des doigts, du poignet ou du buste. Des ergothérapeutes s’en emparent pour créer des jeux thérapeutiques et des exercices interactifs. C’est le cas d’Ahmed Nabli, ergothérapeute, qui consacre un module de sa formation IA en ergothérapie au suivi de la main, du corps et de la tête, sans capteur porté par le patient.

Ce que cette technologie sait faire, ce que les études en disent et ce qu’il faut vérifier avant de l’utiliser en séance : voici l’essentiel, sans promesse miracle.

Ce que « suivre la main » veut dire pour une caméra

Le hand tracking, ou suivi de la main, ne consiste pas à « voir » une main comme nous la voyons. Le logiciel cherche dans chaque image un petit nombre de repères, puis calcule leur position d’une image à l’autre.

Prenons MediaPipe, la bibliothèque gratuite de Google, très utilisée pour ce type de prototype. Son module de suivi de la main fonctionne en deux temps. Un premier modèle repère la paume dans l’image. Un second modèle place ensuite 21 points sur la main détectée : le poignet, puis les articulations et le bout de chaque doigt.

Selon la documentation de Google, ce second modèle a été entraîné sur environ 30 000 photos réelles de mains, complétées par des mains de synthèse posées sur des fonds variés. Le même principe s’applique au reste du corps : le module de suivi de la posture estime la position de 33 points en trois dimensions, du visage jusqu’aux pieds.

Ces points ne sont pas une radiographie. Ce sont des estimations, recalculées à chaque image de la vidéo à partir d’une image plate. C’est suffisant pour savoir si une main est ouverte ou fermée, si le pouce touche l’index ou si le bras se lève. C’est plus fragile dès qu’on cherche une mesure fine, au degré près. Pour comprendre la famille de techniques qui rend cela possible, notre dossier sur la vision par ordinateur en présente les bases.

De la webcam au jeu thérapeutique : comment ça marche

En rééducation, l’intérêt n’est pas la technologie elle-même, mais ce qu’elle permet de transformer en activité. Un geste répétitif, comme ouvrir et fermer la main, devient plus facile à enchaîner quand il fait avancer un personnage, éclater une bulle ou remplir une jauge à l’écran.

Le principe reste le même d’un prototype à l’autre : la caméra filme, le modèle place ses points, un petit programme traduit la position de ces points en commande de jeu.

La dernière étape est la plus importante. Un seuil mal réglé transforme un exercice motivant en source d’échec. Un seuil trop facile fait perdre l’intérêt thérapeutique. C’est là que le raisonnement clinique garde toute sa place : la machine compte des gestes, elle ne décide pas de ce qui est bon pour le patient.

Ces prototypes ne demandent plus forcément d’être développeur. Des bibliothèques gratuites existent, et des assistants d’intelligence artificielle aident désormais à écrire le code d’un mini-jeu en langage naturel. Notre panorama des outils pour développer des solutions de vision par ordinateur recense les principales briques disponibles.

Ce que disent les études sur la rééducation par le jeu

Le suivi de la main par caméra est récent, mais la rééducation par le jeu vidéo et la réalité virtuelle est étudiée depuis une vingtaine d’années. La synthèse la plus complète sur le sujet est la revue Cochrane consacrée à la réalité virtuelle dans la rééducation après un AVC, mise à jour en juin 2025.

Elle rassemble 190 essais randomisés et 7 188 participants. Ses conclusions sont nuancées. Comparée à une autre forme de rééducation, la réalité virtuelle apporterait un bénéfice léger sur la fonction du membre supérieur, avec un niveau de preuve jugé faible. Le bénéfice est plus net quand elle s’ajoute aux soins habituels, ce qui augmente au passage le temps total de rééducation : les auteurs parlent alors d’un niveau de preuve modéré.

Autre point utile : 59 des études analysées ont surveillé les effets indésirables. Ils ont été rares, et ceux qui ont été signalés restaient légers.

Ces résultats portent sur la réalité virtuelle et les jeux interactifs au sens large, pas spécifiquement sur le suivi de la main par webcam. Ils indiquent surtout une chose : l’outil numérique aide quand il permet de faire plus de répétitions, plus longtemps, avec plus d’envie. Il ne remplace pas la séance.

Les limites à connaître avant d’installer une caméra en séance

La lumière et le cadrage. Un contre-jour, une pièce sombre ou une main qui sort du champ font perdre les points. Les doigts qui se cachent les uns derrière les autres posent le même problème. Tester l’installation dans la salle réelle, avec l’éclairage réel, évite bien des déceptions.

La précision. Une estimation calculée à partir d’une image plate n’a pas la valeur d’un goniomètre. Pour suivre une progression, les chiffres produits par un prototype maison donnent une tendance, pas une mesure clinique validée.

Les données. Filmer un patient, c’est manipuler des images de santé. Le cadre du RGPD s’applique : information du patient, durée de conservation, lieu de traitement. Le modèle de posture de MediaPipe, par exemple, est optimisé pour tourner directement sur l’appareil, en temps réel, ce qui permet de traiter l’image sans l’envoyer à un serveur. C’est un critère de choix à vérifier pour tout outil. Attention aussi à ne pas confondre suivi du mouvement et biométrie : repérer la position d’un pouce ne sert pas à identifier une personne, mais la vidéo brute, elle, montre souvent le visage.

Le statut de l’outil. Un mini-jeu créé pour motiver un patient n’a pas le statut d’un dispositif médical certifié. Il ne pose pas de diagnostic et ne doit pas être présenté comme un outil de mesure. Il reste un support d’activité, choisi et encadré par le professionnel.

Se former sans devenir développeur

C’est l’angle retenu par la formation en ligne d’Ahmed Nabli, ergothérapeute et cofondateur de Remotion, qui développe des technologies pour rendre les activités thérapeutiques plus interactives et mesurables. Le parcours compte sept modules, de la compréhension de l’intelligence artificielle jusqu’à la création de jeux interactifs.

Le sixième module est consacré à la vision par ordinateur et aux interactions corporelles : suivi de la main, de la posture et de la tête, sans capteur porté. Un autre module montre comment transformer une idée en mini-jeu en décrivant ce que l’on veut en langage naturel, une pratique souvent appelée « vibe coding ».

L’ensemble représente environ deux heures et demie de vidéo, complétées par un eBook. La formation le rappelle elle-même : l’IA y est présentée comme un outil d’assistance et de prototypage, et le professionnel reste responsable de l’interprétation et de l’usage clinique. Son auteur le résume dans une formule tirée de l’eBook : « Ne pas rejeter une innovation parce qu’elle est nouvelle, mais ne pas l’adopter uniquement parce qu’elle est populaire. »

C’est probablement la meilleure grille de lecture pour le hand tracking en rééducation. La technologie est accessible, peu coûteuse et motivante pour les patients. Elle vaut ce que vaut l’exercice qu’on construit avec, et le regard du professionnel qui le règle.

Questions fréquentes

Cet article s’appuie sur les documents suivants, consultés aux dates indiquées.