A participant walking a hallway while wearing a HoloLens

研究

2018

AR Walking Assist

歩行中の人にAR(拡張現実)グラス越しで「もう一人の自分」が歩く映像を見せ、その歩き方をわずかに大きくしていくことで、歩幅と歩行速度を引き上げる歩行アシストシステム。

HoloLens / AR

Walk-Mateモデル

ミラーニューロンシステム

3Dアバター

歩行リハビリテーション

課題・授業

東京工業大学 三宅研究室、修士研究

プラットフォーム

Microsoft HoloLens、完全ワイヤレス

参加者

健常若年男性11名(平均年齢23.8±2.25歳)

分析手法

歩幅・歩行速度・歩行周期に対するWilcoxonの符号順位和検定

研究背景と問い

加齢や脳卒中・パーキンソン病などにより歩容(歩き方)が変化し、歩行機能の低下が生活の質を下げる大きな要因となっている。従来、聴覚刺激や力覚刺激によって歩行リズムを整えるリハビリ手法(三宅研のWalk-Mateモデルなど)が研究されてきたが、これらは「リズム(時間的要素)」の改善には効果がある一方、歩幅や足の上がり方といった「空間的要素」を直接誘導することが難しいという課題があった。

一方で、視覚情報は空間的な変動を伝える力が強く、また他者の動作を観察するだけで自分の動作が引き込まれる「ミラーニューロンシステム」を活用した運動観察療法が、脳卒中患者の歩行機能改善に効果を示すことも報告されていた。

問い:歩行中の人に、自分に似せた3Dアバターが歩く映像をリアルタイムに見せ、その歩容を徐々に変化させていくことで、無意識のうちに本人の歩容(歩幅・歩行速度)にも変化を引き起こせるか?

関連研究との位置づけ・新規性

従来の運動観察療法は、他者や自分の歩行を観察した後に同じ運動を行うことで効果を得る手法であり、「運動を行っている最中に」その様子を観察させる効果は明らかになっていなかった。

聴覚・力覚による歩行アシスト(Walk-Mateモデルなど)は歩行リズムの同調に強い一方、ストライド長など空間的な要素を直接誘導できなかった。

先行研究(Meerhoffら、Shanらなど)では、歩行アバターとの距離を保たせる指示や、聴覚キューとの同期は扱われていたが、歩行中にリアルタイムで自分に似たアバターの歩容そのものを変化させ、無意識下の歩容変化を狙うという設計は本研究の独自の位置づけだった。

ARヘッドマウントディスプレイ(HoloLens)を使うことで、周囲の環境を見ながら安全に、かつ完全ワイヤレスで歩行中に映像を提示できる点も、プロジェクターや床面投影を使った先行研究との違いだった。

手法・アプローチ

システム構成(3モジュール):

運動センシングモジュール

HoloLens内蔵の環境認識カメラから頭部の鉛直方向の座標変化を検出し、一周期ごとの最小値(接地点)を歩行リズムとして推定する。

運動制御モジュール

三宅研で開発されてきたWalk-Mateモデル(位相振動子による相互引き込みモデル)を用い、ユーザの歩行リズムに同調するアバターの歩行リズムをリアルタイムに生成する。

運動映像合成モジュール

同調させたリズムでアバターを歩かせ、ユーザの眼前(5m先、実身長と同じ大きさ)にアニメーションとして投影。外部からのトリガー(HoloLens Clicker)で、リズム同調を保ったままアバターの歩容(腕振り・足の振り上げ)を20秒かけて徐々に変化させる。

アバター生成:参加者本人の身体写真を60枚ほど撮影し、Autodesk ReMake/ReCapで3Dモデル化、Mixamoで関節をリギングして、各参加者に似せたアバターを個別に作成した。

Walking Video Presentation System: three modules — motion sensing, motion control and motion-video synthesisBuilding a personalised avatar: photo capture, 3D model generation and joint specification

実験・評価設計

参加者

健常若年男性11名(平均年齢23.8±2.25歳)

実験環境

障害物・勾配のない約55mの直線廊下

No-change条件

アバターの歩容を変化させない

Motion-change条件

歩行開始10m地点からアバターの腕振り角・足の振り上げ角を徐々に増大(平均で膝回転角は約1.42倍、肘回転角は約2.17倍)

各条件をランダムに5回ずつ、計10試行実施。

両足首にウェアラブルセンサ(3軸加速度・3軸角速度)を装着し、歩行速度・ストライド長・歩行周期を計測。

実験後、アバターの歩容変化に「気づいたか」をアンケートで確認し、気づいた群/気づかなかった群でも分析した。

統計解析にはWilcoxonの符号順位和検定を使用。

結果と影響

ストライド長

Motion-change条件がNo-change条件より有意に増加(p<0.01)。

歩行速度

Motion-change条件で有意に高い傾向(p<0.1)。

歩行周期

条件間で有意差なし。リズム自体は変えず、歩幅と速度だけが変化した。

アバターの歩容変化に気づかなかった参加者(5名)に限定しても、ストライド長は有意な増加傾向(p<0.1)を示した。気づいた参加者(6名)に限定しても同様の傾向が見られ、両群間に有意差はなかった。

考察

歩行周期(リズム)には変化がなかったにもかかわらずストライド長・歩行速度が伸びたことから、視覚刺激がユーザの「歩行リズム」ではなく「歩容そのもの」に影響を与えたことが示唆された。

アバターの歩容変化に気づかなかった参加者でも歩容の変化が生じたことから、この歩容変化が意識的な模倣ではなく、無意識下のミラーリング効果によって生じている可能性が支持された。

ユーザの運動感覚と、自分に似たアバターの視覚刺激が統合されることで「運動主体感」(このアバターが動いているのは自分だ、という感覚)が想起され、それが歩容の引き込みに寄与した可能性を考察した。

理学療法的には、運動イメージ療法や運動観察療法が個人の記憶力・想像力に依存するのに対し、本システムは想像力や記憶力に依存せず歩容を変化させられる可能性がある点を利点として位置づけた。

限界と今後の展望

対象が健常若年者に限られており、歩行障害を持つ患者での効果は未検証。

今回はアバターの腕振りと足振りを同時に変化させたため、どちらの要素がどれだけストライド長の変化に寄与したかは分離できていない。

即時的な効果のみを見ており、継続的なトレーニングによる長期効果は今後の課題。

Hololensの機械的遅延や、個人間の身体感覚の違いを歩行リズム同調の精度に十分反映できていない。

運動主体感の主観的評価(アンケートなど)を用いた、より直接的な検証が必要。

今後は聴覚刺激(Walk-Mateモデル)と視覚刺激を組み合わせ、歩行の時間的要素・空間的要素をより自由に誘導するマルチモーダルなアシストシステムへの発展を構想。

この研究はその後、後輩のドクター学生(Dane A.L. Miller氏ら)によって発展され、距離変化(空間的キュー)と位相差変化(時間的キュー)を同時に制御する手法として2022年にIEEE Accessに論文化されている。

Read the IEEE Access Paper

PDF