はじめに
VR(バーチャルリアリティ)とは「みかけや形は原物そのものではないが、本質的あるいは効果としては現実であり、原物であると感じさせる技術」のことである。日本語訳を当てはめるとすれば「実質的現実」や「人工現実感」が適切である。
VRという言葉が最初に商用で利用されたのは平成元年(1989年)であるが、研究成果の蓄積や技術の成熟もあり、2016年に民生用のHMD（Head Mounted Display：頭部搭載型ディスプレイ、VRゴーグル）やVR 対応ゲーム機の登場が相次いだ。このVRブームの再来の後押しもあり、2018年2月に東京大学に連携研究機構「バーチャルリアリティ教育研究センター」（略称：VRセンター）が設立された。国立大学の中で「バーチャルリアリティ」を冠した全学的な組織は執筆時点で本学のみである（１）。
東京大学はこれまでに、没入型VR 施設であるCABINの建設や日本バーチャルリアリティ学会の創設など、黎明期から世界のVR 研究をけん引する役割を果たしてきた。VR 研究は学際的な領域であるため、特定の学部ではなく、大学のさまざまな部局に分散して進められていた。そこで、VRセンターは情報理工学系や工学系だけでなく、文学部（心理学科）や医学部などを含んだ部局横断型組織として、また、それらをつなぐ拠点として設立された。設立時から「VRそのものの教育(for VR)だけではなく、VRを使った教育(by VR)の応用研究」を掲げ、民間企業などとの共同研究を積極的に進めている。
さらに、2019年末からの新型コロナウイルス感染症(COVID-19)の世界的な拡大、および2021年からのメタバースへの注目によって、VRセンターの役割も変わりつつある。例えば、教育活動・社会活動を継続するために大学の講義はオンライン形式に移行したが、そこで新たに生じた課題に対して「教育研究センター」としてVRやメタバースで解決できることはないか、日々試行錯誤している。本稿では、VRやメタバースを大学教育や大学生活、そして教育訓練に活用した事例を紹介し、その可能性と課題を整理する。
メタバースでのスライド講演は必要か
昨今のVRブームの火付け役というとHMDなどのVRゴーグルが挙げられることが多いが、ハードウェア以外にもVRChatなどのソーシャルVRプラットフォームの普及やUnity やUnreal Engineなどの統合開発環境の普及も欠かすことができない。こうした普及が相まってVRコンテンツの制作コストが大きく下がり、質も量も劇的に向上した。VR 空間やバーチャルアバターを自作し、交流する場も整備され、盛り上がりを見せるようになった。
こうした場はいわゆる「VRSNS」(VRのソーシャルネットワークサービス)と呼ばれ、メタバースの先駆けといえる。メタバースという用語の初出は1992年のSF 小説であるが、2019年10月にFacebook社が社名を変更してから急速に利用されるようになった。しかしながら、何がメタバースかの定義が明確でないまま、メタバースを“ 新大陸”と信じて一攫千金を目論む者が押し寄せ、異なる立場の各々が好き勝手にメタバースを解釈した結果、世界的に見ても定義が安定化せず、さらに日本国内ではメタバース関連団体が乱立する混沌とした事態となっている。
メタバースとは「オンラインで社会的活動が可能な3次元バーチャル空間」であることが広く合意が取れている定義の一つであり、ここでもその定義に従う。さらに言えば、あるシミュレーション空間の中で同時に複数のユーザーが同一の3次元空間を共有し、自己が投射されたアバターが存在し、その空間内にオブジェクトを創造することができる。その中で、経済活動などの社会活動が生まれる世界(Verse)となっている。
VRSNSやソーシャルVRプラットフォームはWebブラウザのみでできるものから、専用のアプリケーションをインストールして使用するものまでさまざまである。コロナ禍以降の国際会議でも、2020年3月に開催されたIEEE VRではオープンソースベースのMozilla Hubsがポスター発表会場に使われ、それ以降の国際会議の開催スタイルに大きな影響を与えた。例えばオンライン国際会議では、スライドを使った講演はZoomなどのビデオ会議システムで、ポスター発表や懇親会はソーシャルVRプラットフォームで、といった棲み分けが多く見られるようになった。3次元ではなく、2次元マップのRemoやoVice、Gather Townなど幾つかサービスも活用されているが、空間性という観点では3次元に分がある。
では、1名の講師と多数の聴講者の形で進むスライド型の講演に空間性は必要なのだろうか。スライドによるプレゼンや大学の講義はZoomやTeamsのようにビデオ会議ツールで実現できる。現時点では珍しさもあり、VR 空間やソーシャルVRプラットフォーム上での実施事例が時折報告されている。しかし、注意しなければならないのは、実は（教育者と称していても）自作の有料VRアプリの販売のため、あるいは自社サービスへの囲い込みのために行われ、「VR 空間で行うこと」自体が目的になっている場合も少なくない。そのため、現状ではエビデンスや必要性の議論がないまま、進められているといっても過言ではない。
さらに聴講者側も現時点ではパソコンやスマホでVR 空間に参加する「デスクトップVR」の形式がほとんどである。デスクトップVRでは、スライドが全画面表示よりも必ず小さく表示される。もちろん、VR 空間内では見やすい位置に移動することができるが、教室や講演会場を飛び回ったり、動き回ったりすることになるため、移動に制限がかけられることもある。HMDをかければ、視野に“ 枠”がなくなり、すべてVR 空間で覆われ、高い臨場感や没入感を得ることができる。そのため、デスクトップVRではなく、HMDを用いて受講するとあたかも対面で講義を受けているような体験が可能である。一方で、HMDを装着するとノートやメモが取りにくいこと、スマホで調べ物がしにくいこと、そして長時間使用すると疲れることが報告されている。
これらを総合すると、スライド型の講演をソーシャルVRプラットフォーム上で行うことには、そこまで利がないように感じる。対面でできることを、一時的に代替して実施しただけだ、と。
しかし、筆者はメタバースに大いに期待して研究や教育活動を進めている。その理由は他者との交流において、ほかでは代替できない特徴を有しているからである。交流がなければYouTubeのような動画視聴でも良いだろう。VR 空間におけるスライド講演で効果を発揮するのは、一緒に受講する学生の存在感や講師の挙動といったスライド以外の情報である。「いま先生なんて言ったの？」とか「ノート見せて」のような学生同士の緩いインタラクションや、ジェスチャや身振り手振りなどの身体を使った情報表現が自然に実現できることが、まさにソーシャルやVRである。ほかにもアバターを使うことで立場や役職にとらわれずに真の無礼講で意見交換ができ、シミュレータを用いることで、稀にしか体験できないが重要なことを自由に追体験できるのである。それらの必要性や有用性と、準備や手間とを天秤にかけることがVR 空間を使う是非の判断基準となろう。
メタバースを活用したオンライン講義
筆者は自身が担当する大学院生を担当とした講義において、ソーシャルVRプラットフォーム上で講義を行っている。その実践例を通じて可能性や課題を整理してみたい。
まず、オンライン講義への転換が迫られた、2020年度にMozilla Hubsを使った講義を実施した。Mozilla Hubsはオープンソースで公開された空間共有サービスで、Webブラウザ上で動作するため、誰でも簡単にURLリンクからアクセスでき、ユーザー登録や専用ソフトウェアのインストールが不要なことが特徴である。COVID-19感染拡大で大学のほとんどの講義がオンライン化したため、その一環として実施した。Hubsをはじめとして多くのソーシャルVRプラットフォームでは用意されたワールドを選択することができる。
実施した授業では、Hubs 専用のシーンエディタであるSpokeを使ってルームを作成し、全天周動画のプレーヤーや赤門などのオブジェクトを配置したものを利用した［図表1］。講義はスライド型を基本とし、全天周動画を視聴するスクリーンに移動して視聴。URLリンクだけで接続できたり、スマホにも対応していたりといった手軽さもあり、受講生の多くはHubsに参加できたが、授業実施時点では標準で1ルームあたり25名を超えると動作が不安定になったため、すべての受講生が1つのルームに集まるのではなく、ルームを4つ複製。さらに画面をZoomにも共有する「ハイブリッド授業」の形をとった（2）。学生は皆「デスクトップVR」の形式で参加した。
2021 年度はVRChat で実施した。VRChat は米国のVRChat Inc.によって運営されているソーシャルVRプラットフォームである。2022年時点で、世界で最も接続者の多いソーシャルVRプラットフォームとして人気を集めている。さまざまなアバターが利用でき、全身の動きに反応するフルトラッキングに対応していることに加え、コンテンツの自由度が高いことが特徴である。実施した授業では、統合開発環境Unityで前面にスクリーンがある階段教室を作成し、その中に日本時間と同期した時計を設置したり、頭上には鏡を設置したりして、HMDを装着していても授業の進行状況や受講生からの見え方が確認できるようにした［図表2］。
さらにトリックアート博物館のように錯視体験が可能なコンテンツを作成するなど、自由度の高さを利用した講義コンテンツを用意。VR 教室に講師はフォトリアルな本人のアバターとして登壇し、学生も同じ教室ワールド上で受講した。一方で、VRChatは授業実施時点ではパソコンはWindowsのみ対応、Android版もOculus Quest2など一部のみに対応していたため、Macユーザーやスマホから通常講義を受講していた約半数の受講生はZoomから参加。そのため、VRChatの画面をZoomで共有する形で配信し、VRChatとZoomのハイブリッド・ハイフレックス講義となった。
受講生からは「久々に教室での講義の雰囲気が味わえた」「コロナ禍で対面が難しい中、バーチャル空間の活用は、ほかの授業でも積極的にあればよいと思った」「VRChat 形式、授業終わりに気軽に質問できるのがいい」といったフィードバックがあり、概ね好評であった。授業終了後にVR 教室内で受講生から話しかけられるといった雰囲気を作れたのは、VR 空間の良さといえる。一方で、VRChat へのログインに手間取り、VRChatでの参加を諦めた受講生がいたことなどの課題も明らかになった（2）。
数多あるソーシャルVRプラットフォームにはそれぞれ一長一短があり、この2つの事例からもわかるように、手軽さと体験の質などのトレードオフがある。VR 空間の体験の入り口としてHubsを採用するのは賢明と思える一方、WebVRゆえに制限された機能のため、そこで得られるVR 体験に失望し、ビデオ会議システムで十分だと思われる可能性もある。現時点でも多様なVR視聴形態と機能の異なるソーシャルVRプラットフォームがあり、それらが組み合わされていることに留意する必要があるだろう。
アバター技術を使ったオンライン講義
VRやメタバースに欠かせない技術の一つにアバターがある。アバターとはサンスクリット語の「Avataara」を語源とする、「化身」「具現」「権化」の意味の英単語で、自分の分身として表示されるキャラクターのことを指す。3次元CGで構成されるアバターだけではなく、2次元のアニメキャラクターの場合もある。さらにZoomのようなビデオ会議システムでは自分を映すビデオ画面にカメラ映像ではなく、アバターを表示する機能も標準で実装されるようになった。こうした自己を投射した分身が教育や訓練にどのような作用をもたらすのかは、未解明の領域であり、現在研究が進められている。
前節で紹介したように、ソーシャルVRプラットフォームでは参加者が自由に自分自身のアバターを選択できるが、ビデオ会議でも顔映像を替えることが容易に実現できるようになってきた。スマートフォンでもリアルタイムでWebカメラの映像にさまざまな加工処理ができるアプリは人気で、同様の機能がバーチャルカメラとしてビデオ会議システムで使えるようになっている。ビデオ画面の講師の顔映像を別人に変えてしまうと誰に教わっているかの認知が変わる可能性があるが、それを有効に利用できる可能性も同時に生まれる。そこで筆者は、講師映像をディープフェイク技術で他人の顔にすり替えてライブ型の遠隔授業を実施し、講師の顔に応じて教育効果が異なるかを検証した。具体的には事前に受講生に4名の顔を提示し、授業を受けてみたい顔を選んでもらい、その顔を使って授業を実施したときの受講生の理解度や発言コメント数を比較した（3）。講義はライブ型で行い、異なるグループに対して同一の講義内容で、講師のアバターの見かけのみを変更するような実験計画とした。
実験のシステムには任意の顔の静止画像を利用して、別の参照動画をもとに動画化できるソフトウェア(Avatarify)を使用。敵対的生成ネットワーク(GAN : Generative Adversarial Networks)による画像生成手法StyleGANを用いて、Webカメラからの参照動画をもとに顔の表情や向き、目や口の開閉、首や肩の動きなどを静止画に転写させた［図表3］。Webカメラ以外に特殊なハードウェアを必要とせず、顔の3次元モデルも事前に用意する必要がなかった。
詳細は割愛するが、実験結果を要約すると、講師の顔画像が授業を受けてみたいと高く評定されたものを使ったときほど、授業中の受講生の発言数(視聴コメント数)が増加し、逆に低く評定された顔画像の場合は授業中には質問せず、質問を授業後に回した可能性が示唆された。それぞれのグループ間の成績に差は見られなかったが、講師の顔画像によって授業中の発言数、さらに言えば積極性に影響が出た可能性が示唆された。実験講義は座学形式であり、積極的発言が必ずしも要求されるものではないが、授業内容に対する反応や質問などの視聴コメントの投稿は、受講生が興味を持つ場面をほかの受講生と共有したり、自分が感じた疑問点を確認したり、といった観点から授業への積極的な貢献の現れと考えられる。
このように特別なプラットフォームを用いずとも、一般的なビデオ会議システム上でVRやアバター技術を使って講師映像を変容させることで、講義に対する参加姿勢に違いが見られる可能性があり、ラーニングイノベーショングランプリ2022では奨励賞を受賞するなど、手軽に実現可能な方法として注目されている。また、1枚の画像からStyleGANによって顔の姿勢を作り出すのではなく、さまざまなアングルから撮影された複数の画像から立体モデルを作成するフォトグラメトリ技術を用いれば、より複雑な頭部姿勢にも対応できる。VRセンターでは全身のアバター撮影用のスタジオを学内に設置し、誰でも撮影できる環境を整備した。このようにして作成した3DCGモデルを用いることで、オンライン講義におけるアバターの表情や動きの精度を高めることができると期待される。
また、アバター化技術はアイデンティティを抽象化し、隠蔽・編集できるため、顔映像が配信されることで生まれる恥ずかしさや遠慮は、別の身体をまとうVR 空間では排除でき、ビデオ会議でも別の顔をまとうことで議論の活性化につながるかもしれない。動画配信サービス上でもVTuberのようにバーチャルアバターが講義を配信する試みも見られるが、VR 空間が前面に現れなくても、こうした関連技術が遠隔講義とますます融合してくことは予想される。
メタバースのホスティングと活用
VRセンターでは、東京大学をモデルとしたVRワールドのWebVR版やHubs Cloud 版の運用を進めてきた。例えば、東京大学駒場キャンパス内のカフェをモデルとしたVRワールドを作成し、さまざまなソーシャルVRプラットフォームで公開している。モデルとなるカフェは学内に存在するが、実際のカフェのデジタルツインではなく、VR 空間内のカフェでは外に庭をつくり、大型スクリーンやステージを設営し、イベントが開催できるように整備した。
そしてVRセンターがホスティングするHubs Cloud内のカフェVRワールドは、NIIが主催する第45回教育機関DXシンポジウムにおいて、藤井輝夫東大総長によるメタバース講演の配信会場として活用。同シンポジウムでは講演会場と配信会場を分け、講演会場であるcluster内にフォトリアルアバターで登場した藤井総長の講演に続いて、コロナ禍に公衆衛生の分野で活躍してきた学生や卒業生と総長が対話をするイベントとなった。配信会場であるHubs Cloudの参加者数に応じ、サーバー規模を逐一変更するといった運用が行われた（4）。
また、毎年3月末に入学の諸手続きを終えた新入生に向け、サークルや部が新入生歓迎（新歓）活動を行う「テント列」が、ここ数年COVID-19感染拡大のため中止となっている。そこで、VRセンターでは2022年度の学生サークルの新歓オリエンテーションをメタバース空間で実施するプロジェクトを実施。学生有志によって作成されたバーチャル東大は、学園祭や高校生オープンハウスなどでも活用されているが、このデータを本学社会連携本部から提供を受け、安田講堂モデルの軽量化などの改良を施した上で、VR センターでホスティングするHubs Cloud内に東京大学本郷キャンパスをメタバース空間として再現した。
正門から安田講堂へ向かう銀杏並木沿いに、学生サークル団体のビラを看板に見立てて設置。サークルの立て看板をクリックすると詳しい情報を見ることができたり、サークルが独自に作成したVR 空間に移動できたりするような仕組みを設け、新しい学生活動の環境づくりの場として提供した［図表4］。
現在、物理世界の建物や都市の写しを情報世界の中に再現する取り組みは、多くの大学や自治体などで盛んに行われている。いろいろなソーシャルVRプラットフォームで都市や施設がバーチャル化されているが、学内でホスティングする利点としては、複数の利用者の参加が見込まれるイベントを主催する場合に、リクエスト処理の同時実行性が低下しないようにサーバーの余裕をカスタマイズできることである。また、大学のネットワーク内にコンテンツや機密データを保持することが可能な点も特徴である。
メタバース教育訓練の社会実装
メタバースは大学教育だけでなく、幅広い教育コンテンツや、訓練への活用にも期待が寄せられている。特に他者の視点になって、追体験を行うことや、体験をアップデートすることが注目されている。例えば、広島が一瞬にして焼け野原になった原子爆弾の投下から復興に至るまでをテーマとした「PEACE PARK TOUR VR」は、広島市の平和記念公園を現地のガイドと巡りながらVRゴーグルで過去のヒロシマを体験する。現地でVRコンテンツを見る体験は拡張現実感(AR)のような使われ方ともいえるが、ゴーグルをかけると1945年のヒロシマが見え、ゴーグルを外すと現在の広島が見えるという時間方向のVRコンテンツである。高齢化する語り部に代わってアバターが説明するほか、時間を超えた追体験や、自分ごととして捉える工夫が詰まった教育コンテンツの好例といえよう。
そしてシミュレーションの活用もVRの特徴である。物理シミュレーションや化学実験などでは設備や化学物質などが不要となり、低コストで導入できることや危険性がないことは長所である（5）。さらに、さまざまな失敗体験のシミュレーションも提供できる。失敗体験は教育において重要であるが、VRでは自己の安全性が確保され、危害を被ることがない。こうした安全の傘の下でいかに緊張感を与え、有効な訓練となりえるかは大きな課題といえる（6）。VRを用いた疑似体験は対面の「代替」ではなく、対面に向けた準備の場、経験を積む場と考えるのが適当である。現在、一部の航空操縦士の飛行訓練時間にフライトシミュレータの訓練時間を算入している。
このように、ほかの教育・訓練においてもVRの疑似体験を活用した研修は広がると期待される。VRセンターでは対面窓口のVR 対応訓練システムを実装してきたが、こうしたエージェントとのインタラクションだけでなく、メタバース内の他ユーザーとのインタラクションやそれを活用した教育訓練システムが、今後重要さを増すと考えられる。
おわりに
10年を要するといわれたオンライン化が数カ月で進展し、オンライン授業が根付いた今後の大学では、リアルの拡張としてVRやメタバースの活用が進むと考えられる（7）。ここで重要なことは、単なる現実の代替ではなく、「VRならでは」の仕組みである。前述したようにVRやメタバースを講義や教育に使う試みは行われているが、残念ながら、「アバターを表示させたZoomのようなもの」にとどまっている。繰り返しになるが、なぜVRやメタバースを使うのか、手段の目的化になっていないかを考えなければならない。
2020年秋に対面講義が再開したときにそれを「正常化」と呼ぶマス・メディアがあったように、遠隔講義が対面講義の劣化版で、さらにいえば遠隔講義は手を抜いているという認識が一部では広まっている（8）。対面講義の代替として考えるとできないことばかりが目に付くが、字幕機能、見直し視聴や倍速視聴などオンラインならではの新たな学習のあり方も生まれている。このように代替ではなく、VR 技術やメタバースの活用に知恵を絞り、有効な活用法を示すことは、我々研究者の使命であると考える。
目的なきVR／メタバース導入は何も解決しない。必ずしも3DCG 空間の利用に拘泥する必要はない。前述のように、ビデオ会議システムでもVR 技術のエッセンスを使って工夫でできることもある。VR 空間だけでなく、さまざまなVR 技術が現実世界を拡張し、社会の中で応用できる知見が蓄積しつつある。VR 技術やメタバースの有効性を中立的な立場で検証し、社会に必要かを議論することが、次世代のVRやメタバースにとって重要な課題の一つとなっていくだろう。
〈謝辞〉
実験講義の遂行は東京大学情報理工学系研究科研究倫理委員会の承認（審査番号UT-IST-RE-200430-1）を受けて、実施された。PEACE PARK TOUR VRは株式会社フジタとの共同研究の成果である。また、ディープフェイク実験で用いた画像の一部には、日頃支援いただいている東京大学の廣瀬通孝名誉教授に利用の承諾を得た。教育機関DXシンポジウムではNIIの協力を得た。記して感謝する。
〈参考文献〉
（ 1 ） 雨宮智浩, 相澤清晴, “リアルとバーチャルが融け合う拠点─東京大学VRセンターの取り組み─ ”, 大学時報, Vol.406, Sep.2022.
（2） 雨宮智浩, “ 東大VRセンターによるVR 技術を活用したオンラインライブ講義の実践”, 映像情報メディア学会誌, Vol.75, No.6,pp.697-701, Nov.2021.
（3） 雨宮智浩, 青山一真, 伊藤研一郎,“ 遠隔講義における講師アバタの見かけによって変化する受講希望度が授業への積極的参加行動に与える効果─オンライン授業への導入事例─ ”, 日本バーチャルリアリティ学会論文誌, Vol.26, No.1, pp.86-91, Mar.2021.
（4） 雨宮智浩, 青山一真, 伊藤研一郎, 栗田祐輔, 相澤清晴, “メタバース講演の課題と展望─東大総長メタバース講演の舞台裏─ ”,電子情報通信学会誌, Vol.105, No.9, Sep.2022.
（5） T.deJong, M.C.Linn, and Z.C.Zacharia, “Physical and virtual laboratories in science and engineering education,” Science, Vol.340, No.6130, pp.305–308, 2013.
（6） 雨宮智浩, 青山一真, 伊藤研一郎,“[ 特別招待講演]VR 技術を活用したオンライン授業の実施報告”, 信学技報, vol.120, no.252, CS2020-70, pp.21-26, 2020.
（ 7 ） 東京大学情報理工学系研究科( 編), オンライン・ファースト:コロナ禍で進展した情報社会を元に戻さないために, 東京大学出版会, 2020.
（ 8 ） 雨宮智浩, “VR 技術が架ける橋”, 日本オフィス学会誌Vol.13, No.2, p.1, Oct.2021.