ウェルビーイング
医食住メディア

医食住ウェルビーイングメディア

身体

2022.09.02

VR(仮想現実)とメタバース(仮想空間)が変えた医療の現場、そして未来。~その①医療とVR

医師・医学博士/杉本真樹

医師・医学博士/杉本真樹

2022年の今、金融やビジネス、そしてエンターテインメントなど、多くの分野でバーチャルとリアルの共存が進んでいます。例えば新型コロナウィルスの流行も影響し、オンラインミーティングやキャッシュレス決済は、今や当たり前となりました。そのように、バーチャルとリアルの境界線は、徐々に曖昧になりつつあります。実は医学においても、そのトレンドは例外ではありません。現在、VR(=Virtual reality:仮想現実)技術とメタバース(仮想空間)の医療への応用が進んでいます。VRとメタバースが医療の現場にどのように役立っているのか。そして将来、どういった形で日本の医療を変えていくのでしょうか。今回は外科医であり、VRとメタバースを活用した医療情報システムを開発したHoloeyes株式会社の創業者でもある杉本真樹医師にお話をうかがっていきます。(聞き手・前田成彦)

杉本医師へのインタビューは帝京大学冲永総合研究所 Innovation Labにて行った。

今の医師はモニターにとらわれすぎている。

杉本医師に詳しいお話をうかがう前に、まずはVRという言葉について解説しましょう。VR(virtual reality:仮想現実)という言葉の他、最近ではAR(augmented reality:拡張現実)、MR(mixed reality:複合現実)といった言葉があります。
VRは自分が仮想空間に入り込んだ状態で、左右、天地の全天周360度、仮想空間に浸ることができます。ARは現実の世界に仮想の世界を重ねる技術です。最もわかりやすいのは、スマートフォンの画面に映った実際の景色の中にモンスターが現れるゲーム「ポケモンGO」でしょう。MRは「mixed reality」という名の通り、VRとARをミックスしたものです。目の前の現実の世界にホログラムが現れ、それに近づけば大きく、離れれば小さく、さらに後ろに回り込めば裏側も観察できます。またVR、AR、MRの総称としてXR(extended reality)という言葉もあります。

家庭用ゲーム機「Play Station」には今、ゲームをVRで楽しめる「PlayStation VR」がラインアップされているのは、皆さんもご存じでしょう。その他、建築現場の風景に完成後のビルを表示したり、美術館や博物館の展示物にスマホのカメラをかざせば解説が表示されるなど最新技術は日常の様々なシーンで使われています。また、工場の組み立て工程でのシミュレーション、自動車工場の整備教育などに取り入れられるなど、とても身近なテクノロジーとなっているのです。

では医療現場でどのように活用されているのでしょうか。臨床現場では、手術支援や立体診断、治療計画の作成などの他にも、患者さんへの症状の説明や教育現場でのトレーニング、手術のシミュレーションや学術研究など、現場、そして教育においてもVRの導入が進んでいます。
いよいよここから、杉本医師にお話をうかがっていきましょう。

杉本医師が開発したのが「Holoeyes(ホロアイズ)」という医用画像をXRアプリ化するクラウドサービスです。立体的な患者さん個人の医用画像データから個別にXRアプリを作成し、VRヘッドセットなどで閲覧できるシステムです。
「X線やCT、MRIといった2次元の医用画像データは、臓器や血管、ガンなどの腫瘍の形などを座標データに変換すれば、ポリゴン(=多角形)として3Dデータとして書き出せます。Holoeyesはこのデータをクラウドサーバーに送ると、10分ほどでXR用のアプリに自動変換します。これをダウンロードしてウェアラブル機器で見ると、目の前に立体の臓器や血管が浮かび上がって見えます。

つまりウェアラブル機器を装着した人は、XRの仮想現実空間の中にいる状態になります。そのため、臓器を指でつまんで引き寄せたり、コントローラーを使って回転させたりと、自由自在に拡大や縮小が可能です。さらに体内や臓器の中に入ったり、裏側をのぞき込むこともできます。また透過型のウェアラブル機器を使えば、臓器や血管を現実のものと重ね合わせて見ることもできます」
XRテクノロジーの発達の背景には、医用画像データを3D化するテクノロジーの進歩がありました。Holoeyesの特徴について杉本医師はこう言います。

「Holoeyesの大きな特徴は、患者さん個人の医用画像データを3次元化し、医師が必要な部分を選択して臓器や血管や腫瘍などの形を座標データに変換してポリゴン(多角形)に書き出すことです。例えば臓器があって、悪性腫瘍があるとします。手術を行う場合に重要なのは、どこまで臓器を残して腫瘍を切除するか。その際にデータとして必要なのは、動脈や静脈といった血管、リンパ、神経など、ある程度限られています。その部分だけデータ化すれば手術に必要な情報にできますし、3Dデータも軽く動かすことができ、共有もしやすい」
「身近な物で例えるなら、地下鉄の乗り換えでは路線図が便利です。航空写真をいくら見ても、乗り換えには余分な情報が多すぎるわけです。手術に必要な”路線図”を考えた時、ポリゴンという形で必要最小限な情報にシンプル化して書き出すことがベストだったわけです。

すごい技術だと驚かれることもありますが、私はこれを医療本来の自然な形だと思っています。現代の医師はモニターからの情報にとらわれすぎている。四角いモニターに映し出されるCTやMRIの奥行きのない平面に慣れすぎていて、そこをベースに手術や治療を考えてしまっている。モニターの中がたとえ3Dデータであっても、奥行きのない平面情報なので、それが共通言語であるかのようにとらえているわけです。それは遠回り。患者さんの病気は本来3次元のものなのだから、手術も3次元で考える。いたって自然なことではないでしょうか」
さらに杉本医師は続けます。

「また命を預かる仕事ということもあって、医学界の人達は結構、保守的です。そのため、医療機器としての認可や安全性の担保などの事情で、新しい技術をなかなか積極的に導入しようとはしません。そんな中、ベンチャー企業がHoloeyesのようなシステムを販売しても、医師のいない企業では安全性や有効性などの信用を得るのは難しい面がある。その点、私は外科医なので、やる価値は十分あるし、説得力も出てくるでしょう。我々には積極的に新しい技術を検証し、実践していく使命があると信じています」

平面よりもはっきりと理解できる。

では、Holoeyesは実際どのようなシチュエーションで使用されているのでしょう。杉本医師は語ります。

「まずは治療支援。XRを使用した手術の実績は、すでにたくさんあります。特に有効なのが、内視鏡外科手術での利用。皮膚を大きく切開せず、数カ所に開けた穴からカメラや手術機器を差し込み、映像をモニターで見ながら行う内視鏡外科手術では、実際の手術機器が動く術野(じゅつや)と内視鏡モニターが離れているため、手指と目線の協調が取りにくいという難点があります。Holoeyesはその問題にも取り組んでいます。

手術中に装着するのは、マイクロソフト社製のHoloLensというウェアラブル機器です。画面が透明なので、手術中に実際の患者さんを見ながらそこに仮想空間のデータを重ねることが可能です。そのため、実際にどこをどのように切ればいいかを、患者さんのお腹の上でイメージすることもできます」
「先程の地下鉄の路線図のように、これはカーナビを例にするとわかりやすいかもしれません。今までは、MRI画像やCT画像を術野から離れた壁面にあるモニターに表示して見ながら手術を行ってきました。それに対し、現在我々が手がけている手術は患者さん1人1人についての3Dデータを作り、それを仮想空間や現実の術野の上に重ねて表示させながら手術を行っていくというわけです」
また、データ蓄積という将来性も考慮しています。

「手術内容の記録も後で活用しやすくなります。従来、どんな手術を行ったのかはカルテに文字で入力し作成しています。例えば腹部正中切開、肝臓の右4cmから切離を進め……といったことを文字で記し、平面のイラストを挿入していました。他の医師がこれを理解するのはなかなか難しくて、手術記録の作成だけでも1時間ぐらいかかることがあります。でも仮想空間上の患者さんの3Dデータに手術内容を直接VRで書き込み、音声解説をあわせて録音しておけば、ずっとわかりやすい。ウェアラブル機器をかぶるだけで手術のプロセスを手の動きと音声ごと追体験できるので、数分で理解できます」
他には手術を行う前のカンファレンス。「この患者さんはこの部分にこういう病変があり、血管がこう通っているからこの部分は切るけれどこの部分は出血リスクがある」というように、執刀する医師とスタッフで話し合い、情報共有を行う時にも使用されます。

「平面モニターではなかなかわかりにくいことを、空間的に体験できるのがメリットです。以前はカンファレンスをX線フィルムを指さして行っていました。それよりもHoloeyesを使い、ベテランも若手も一緒になって実際に仮想空間の臓器を指さし、時には中に入って拡大したりすることで、モニターを見るよりはるかに理解が進みます。空間の中に注意点などを書き込むこともできますし、ポイントをマークしたりベテランの手技のコツを実際の動きで見せることも可能です。

そして他には、臨床現場では立体診断、治療計画の作成、患者さんへの症状の説明。そして教育現場では学生のトレーニングや手術のシミュレーション、学術研究などにおいて使用されています」
では、そんな杉本医師の仮想現実とメタバース、医療の融合に至った考え方はいかに醸成されてきたのでしょう。第2回では杉本医師個人のこれまでの経歴、そしてHoloeyes創業の原点ときっかけについて、引き続き語っていただきます。
(この項つづく)

Text/Naruhiko Maeda Photos/Kazuya Furaku, Maki Sugimoto, Holoeyes
  • 記事をシェア
  • 記事をツイート
  • 記事をLINEで送る

医師・医学博士/杉本真樹

医師・医学博士

杉本真樹

帝京大学冲永総合研究所 Innovation Lab 教授。Holoeyes株式会社 代表取締役CEO 共同創業者。 1996年、帝京大学医学部卒。帝京大学 肝胆膵外科、国立病院東京医療センター外科、米国カリフォルニア州退役軍人局Palo Alto病院 客員フェロー、神戸大学大学院消化器内科 特務准教授、国際医療福祉大学大学院 准教授を経て現職。医用画像解析、XR (VR/AR/MR)、メタバース、手術支援、低侵襲手術、手術ロボット、3Dプリンタ臓器モデルなど、最先端医療技術の研究開発と医工産学官連携に従事。医療関連産業の集積による経済活性化、科学教育、若手人材育成を精力的に行っている。

Ranking

pagetop