AR Walking Assist
Un système d’aide à la marche qui montre à une personne, à travers des lunettes AR, la vidéo d’un « autre soi » en train de marcher, et amplifie progressivement cette démarche pour augmenter sa longueur de foulée et sa vitesse de marche.
HoloLens / AR
Modèle Walk-Mate
Système des neurones miroirs
Avatar 3D
Rééducation à la marche
Contexte
Recherche de master, Tokyo Institute of Technology (Miyake Lab)
Plateforme
Microsoft HoloLens, entièrement sans fil
Participants
11 jeunes hommes en bonne santé (âge moyen 23,8 ± 2,25)
Méthode
Test des rangs signés de Wilcoxon sur la longueur de foulée, la vitesse et la cadence
Contexte et question de recherche
Le vieillissement, l’AVC et la maladie de Parkinson modifient tous la façon de marcher, et ce déclin de la marche pèse lourdement sur la qualité de vie. Les méthodes de rééducation qui utilisent des signaux sonores ou de force pour entraîner le rythme de marche — comme le modèle Walk-Mate développé au Miyake Lab — aident sur l’aspect « temporel » de la marche, mais peinent à guider directement son aspect « spatial » : la longueur de foulée, la hauteur du pied.
L’information visuelle, en revanche, transmet bien les changements spatiaux, et la thérapie par observation du mouvement — qui s’appuie sur le système des neurones miroirs, où le simple fait de regarder le mouvement d’autrui attire le sien dans la même direction — améliorerait la marche de patients après un AVC, selon plusieurs études.
Question : Si l’on montre à une personne qui marche, en temps réel, un avatar 3D qui lui ressemble et dont la démarche est progressivement modifiée, sa propre démarche peut-elle changer elle aussi — sans qu’elle s’en aperçoive ?
Travaux connexes et originalité
La thérapie classique par observation du mouvement tire son effet du fait de regarder un mouvement puis de l’exécuter ; on ne savait pas si l’observer pendant qu’on l’exécute changeait quelque chose.
L’aide à la marche par le son ou la force (le modèle Walk-Mate et approches similaires) est efficace pour entraîner le rythme, mais ne peut pas guider directement les éléments spatiaux comme la longueur de foulée.
Les travaux antérieurs (Meerhoff, Shan et d’autres) portaient sur le maintien d’une distance avec un avatar qui marche ou sur la synchronisation avec un signal sonore ; modifier en temps réel la démarche d’un avatar ressemblant à l’utilisateur, pour viser un changement inconscient de sa marche, constituait le positionnement propre à cette étude.
L’utilisation d’un casque AR (HoloLens) permettait de présenter la vidéo en toute sécurité, entièrement sans fil, pendant la marche et tout en voyant l’environnement réel — contrairement aux travaux antérieurs utilisant des projecteurs ou une projection au sol.
Méthode et approche
Un système en trois modules construit autour de HoloLens :
Captation du mouvement
Détecte le mouvement vertical de la tête à partir de la caméra de suivi de l’environnement de HoloLens ; le minimum de chaque cycle (pose du pied) donne le rythme de marche.
Contrôle du mouvement
Utilise le modèle Walk-Mate développé au Miyake Lab — un modèle d’entraînement mutuel à oscillateurs de phase — pour générer en temps réel le rythme de marche d’un avatar synchronisé avec celui de l’utilisateur.
Synthèse de la vidéo de mouvement
Fait marcher l’avatar au rythme synchronisé et le projette à taille réelle, 5 m devant l’utilisateur. Sur un déclencheur externe (un clicker HoloLens), la démarche de l’avatar — balancement des bras, levée du pied — est progressivement modifiée en 20 secondes, tout en restant synchronisée en rythme.
Création de l’avatar : environ 60 photos du corps de chaque participant ont été prises, transformées en modèle 3D avec Autodesk ReMake/ReCap, puis riggées dans Mixamo — un avatar personnalisé par participant.
Expérience et protocole d’évaluation
Participants
11 jeunes hommes en bonne santé, âge moyen 23,8 ± 2,25.
Lieu
Un couloir rectiligne d’environ 55 m, sans obstacle ni pente.
Condition sans changement
La démarche de l’avatar n’est jamais modifiée.
Condition avec changement du mouvement
À partir de 10 m, les angles de balancement des bras et de levée du pied de l’avatar sont progressivement augmentés (rotation du genou ×1,42, rotation du coude ×2,17 en moyenne).
Chaque condition est répétée 5 fois dans un ordre aléatoire, soit 10 essais au total.
Des capteurs portés (accéléromètre et gyroscope 3 axes) aux deux chevilles mesuraient la vitesse de marche, la longueur de foulée et le cycle de marche.
Après l’expérience, un questionnaire vérifiait si chaque participant avait remarqué le changement de démarche de l’avatar, afin d’analyser aussi séparément les groupes « a remarqué » et « n’a pas remarqué ».
L’analyse statistique a utilisé le test des rangs signés de Wilcoxon.
Résultats
Longueur de foulée
Significativement plus grande avec changement du mouvement que sans changement (p < 0,01).
Vitesse de marche
Tendance à une vitesse plus élevée avec changement du mouvement (p < 0,1).
Cycle de marche
Aucune différence significative entre les conditions — le rythme lui-même n’a pas changé ; seules la foulée et la vitesse ont changé.
Même en se limitant aux 5 participants qui n’ont pas remarqué le changement de démarche de l’avatar, la longueur de foulée montrait encore une tendance à l’augmentation (p < 0,1). La même tendance s’observait chez les 6 qui l’ont remarqué, sans différence significative entre les deux groupes.
Discussion
La longueur de foulée et la vitesse ont augmenté alors que le cycle de marche (le rythme) n’a pas changé, ce qui suggère que le stimulus visuel a agi sur la démarche elle-même plutôt que sur le rythme de marche.
Comme le changement de démarche s’est aussi produit chez les participants qui n’ont jamais remarqué l’évolution de l’avatar, cela appuie l’idée qu’il provient d’un mimétisme inconscient plutôt que d’une imitation délibérée.
Une interprétation : l’intégration de la propre sensation de mouvement de l’utilisateur avec le stimulus visuel d’un avatar qui lui ressemble évoque un « sentiment d’agentivité » — l’impression que c’est soi-même qui fait bouger cet avatar —, ce qui a pu contribuer à entraîner la démarche.
Par rapport aux thérapies par imagerie motrice ou par observation du mouvement, qui dépendent de la mémoire et de l’imagination du patient, ce système pourrait modifier la démarche sans s’appuyer sur l’une ni sur l’autre.
Limites et perspectives
Testé uniquement sur de jeunes adultes en bonne santé ; l’effet sur des patients souffrant de troubles de la marche reste à vérifier.
Le balancement des bras et la levée du pied ont été modifiés ensemble : on ne peut donc pas distinguer la contribution de chacun au changement de longueur de foulée.
Seul l’effet immédiat a été observé ; les effets à plus long terme d’un entraînement prolongé restent à étudier.
La latence mécanique de HoloLens et les différences individuelles de perception du corps ne sont pas entièrement prises en compte dans la précision de l’entraînement du rythme.
Une vérification plus directe du sentiment d’agentivité, par exemple au moyen de questionnaires subjectifs, reste nécessaire.
Perspectives : combiner des signaux sonores (le modèle Walk-Mate) avec le signal visuel, vers un système d’assistance multimodal capable de guider plus librement les aspects temporel et spatial de la marche.
Cette recherche a ensuite été prolongée par un doctorant plus jeune du laboratoire, Dane A.L. Miller, et ses collègues, en une méthode qui contrôle simultanément la distance (signal spatial) et la différence de phase (signal temporel), publiée dans IEEE Access en 2022.
Lire l’article IEEE Access