超教育協会は2022年9月7日、日本電気株式会社（以下NEC）の DXオファリング・プラットフォーム戦略統括部 プロフェッショナル 野中 崇史氏らを招いて「XRを活用した新しい教育の可能性～学生個人の最適な学びと新しい教育手法の提供に向けた仮想空間授業の実証実験」と題したオンラインシンポジウムを開催した。

シンポジウムの前半では、NECと情報経営イノベーション専門職大学（以下iU)が「XRを活用した新しい教育の可能性」をテーマに共同で取り組んでいる仮想空間での授業の実証実験に関する講演が行われ、後半は超教育協会理事長の石戸 奈々子をファシリテーターに、参加者を交えての質疑応答が実施された。その前半の模様を紹介する。

＞＞　後半のレポートはこちら

＞＞　シンポジウム動画も公開中！Youtube動画

「XRを活用した新しい教育の可能性
～学生個人の最適な学びと新しい教育手法の提供に向けた仮想空間授業の実証実験」

■日時：2022年9月7日（水）12時～12時55分

■講演：
・野中 崇史氏
日本電気株式会社
DXオファリング・プラットフォーム戦略統括部
プロフェッショナル
・岩田 慎一郎氏
日本電気株式会社
スマートインダストリー統括部
シニアプロフェッショナル
・寺脇 由紀氏
iU 情報経営イノベーション専門職大学 准教授
・片桐 雅二氏
iU 情報経営イノベーション専門職大学 教授
・鎌谷 修氏
iU 情報経営イノベーション専門職大学 教授

■ファシリテーター：
石戸 奈々子
超教育協会理事長

前半約45分間の講演では、NECの野中氏をはじめ、NECとiUの関係者5名が順番に登壇し、実証実験の詳細、メタバースの活用、XRを活用した仮想空間での授業における課題などについて説明した。

▲　スライド1・本日の講演のタイトルと登壇者の紹介

最初に登壇したNEC の野中氏（▲写真1）は、「実証実験の詳細と今後のメタバース活用について」と題した講演で、NECが企業向けに取り組んできた社員訓練や研修の分野でのメタバースの活用の事例と、iUとの実証実験に取り組んだ背景について説明した。

▲　写真1・野中 崇史氏
日本電気株式会社
  DXオファリング・プラットフォーム戦略統括部
プロフェッショナル

【野中氏】

NECでは2015年から、仮想現実の技術をものづくりの現場や研修・訓練で活用する取り組みをスタートしました。最初は、工場で外国人作業者に作業手順を学んでもらうためのトレーニングに利用し、その後、全日本空輸のキャビンアテンダント（CA）向け訓練にも利用しました。飛行機と同じ大きさのモックアップを使ってしか訓練できなかった内容を、仮想空間の中で行えるようにしたことで、従来は1度に1～2人しか訓練できなかったところが、年間800人を採用しても対応できるようになりました。訓練の回数が飛躍的に増え、反復練習ができるようになったことで訓練後の社内資格試験の合格率も向上したという、効果が目に見えた事例です。

武田薬品工業での取り組みでは、仮想空間に無菌室を作り、訓練を実施しました。NECの人間工学の研究者も参画させ、作業中の細かな角度や位置、接触など失敗につながってしまう動作だけを抽出して反復練習できるようなプログラムにしました。これにより物理空間の無菌室を使う回数を減らすことができたと同時に、より効果的な訓練を行えるようになりました。

訓練のコンテンツを作るだけでなく、仮想空間の中でさまざまな作業の手順を体験できるコンテンツを作り、応用する「メタバースを活用した体験型作業記録」にも取り組んでいます。例えば、橋梁の点検作業マニュアルを体験型に置き換えて、仮想空間で作業初心者などに体験してもらえるようにしました。点検作業の工程の中にチェックポイントを設定し、時間、確認の順番、目視確認の実施状況、正確性などのデータを取得して作業記録として保存できるようになります。

これらのデータを蓄積していくことで、例えばどの人がどんな作業をどれぐらいの時間でできたのか、どんなところで皆がミスしがちなのか、といったことが分かります。パーソナルトレーニングに活かせる事例となりました。

▲スライド2・記録したデータを可視化すれば、
集中的なパーソナルトレーニングにも活用できる

こうしたメタバースを活用した訓練や研修の取り組みを教育の領域で実現できないかと考え、iUとの実証実験を開始しました。この実証実験は、NECがこれまで企業向けに取り組んできた「仮想空間での訓練」の応用編です。

iUとの実証実験の使用機器はVRのヘッドマウントディスプレイ（以下HMD）のMeta Quest 2と、当社の独自技術である脈の周期から感情を測るエンジンを搭載したウェアラブル端末です。学生4名と教員の方々に、この2つを着けて仮想空間に入っていただきました。

▲　スライド3・学生と教員がHMDと
ウェアラブル端末を装着して実証実験が行われた

仮想空間の中では講義と、モノを持って他の方に渡すというグループワークを行いました。感情/覚醒度、グループワークを行った時の発話率、3Dオブジェクトの使用時間などを取得し、これらを可視化して分析することで、今後の教育訓練の質の向上や、蓄積されたデータを教務システムとどう連携させていくかなどを試行中です。今回は実証実験ですので、取れたデータ量はわずかです。先ほどの企業の訓練事例同様、今後データが蓄積されていくとあらゆる活用の可能性が出てくると考えています。

今後のメタバース普及に関連して、さまざまな大学からご相談いただいている話をご紹介します。まず、バーチャルキャンパスを検討する大学が増えています。「講義やテストに関してはリモートに移行できた。しかし実技や能動的学習の体験については、今後リモートをなくしてすべて物理に戻すのではなく、一部でもメタバース上のバーチャルキャンパスで行いたい。それによってコスト削減できて、今までできなかった価値も出せるのではないか」という考え方をされていることが多いです。一方で「物理空間でしかできないことの価値を高めていこう」という考えも多いです。

これに対し当社からは、バーチャルキャンパスと物理キャンパスのシームレスな連携というコンセプトをご提案しています。例えば物理空間に入ると、仮想空間にも同時にログインしてアバターが出現する仕組みや、物理空間の学務管理システムやLMS（学習管理システム）などを仮想空間でも同時に使えるようにする仕組みです。

大学がバーチャルキャンパスを検討するのは、キャンパス移転や図書館や電算室のリニューアルがきっかけです。物理空間も再定義するけれど、今後メタバースも出てくるのでそれを見越してどのように作ればよいか、といったご相談も多くいただきます。今回の実証実験も、このような未来につながる一つの利用シーンになるのではと考えています。

▲　スライド４・物理とバーチャルを連携させた
バーチャルキャンパスを検討する大学が多い

野中氏に続いて登壇したNECのスマートインダストリー統括部 シニアプロフェッショナル 岩田氏（▲写真2）は、実証実験の中で利用されたNEC 感情分析ソリューションについて説明した。

▲　写真2・岩田 慎一郎氏
日本電気株式会社
スマートインダストリー統括部
シニアプロフェッショナル

【岩田氏】

NEC 感情分析ソリューションは、人の感情をとらえてデジタル化し、お客様のビジネスに活用することを可能としたソリューションです。働く人のコンディションの見える化、商品やサービスを利用する方の利用中の感情をとらえることなどが目的で、メタバースとの連携も考えています。

NEC 感情分析ソリューションでは、人の生体情報から感情を把握します。おもに心拍の状態を生体情報として捉え、クラウド上のサーバーに収集して感情分析を行い、ダッシュボードで見える化します。

▲　スライド5・生体情報から感情を把握することができる
「NEC 感情分析ソリューション」

NEC 感情分析ソリューションにはいくつかの特徴があります。生体情報を収集するツールとしてウェアラブルデバイスを使用するメリットは、場所を問わずデータ取得できることです。ほぼリアルタイムに感情を把握できます。いわば、喜怒哀楽を見える化するようなイメージです。

▲　スライド6・NEC 感情分析ソリューションの特徴

心拍の情報で感情を把握していますが、単純な心拍数ではなく、1拍1拍の時間間隔もデータとして収集し、心拍変動解析という手法を使って最終的に喜怒哀楽という形にしています。喜怒哀楽に表すロジックは、「ラッセルの感情円環モデル」という感情を可視化する検証モデルを使って分析しています。

▲　スライド7・心拍数を取得、心拍変動を解析、
独自のアルゴリズムで感情指標に分類する

感情分析のダッシュボードで感情を可視化できれば、従業員のコンディションの見える化や、お客様がサービスを心地よく使っているかなどを把握することなどにつながっていくと考えています。

▲　スライド8・NEC 感情分析ソリューションの
データを見える化したダッシュボード画面例

教育に関連する活用事例をご紹介します。建設会社様の研修所では、研修中の研修生の感情を把握して講師の方にフィードバックしています。建設会社なので、研修の環境がよりよいものなのか推し測るような活用の仕方もしています。

2つ目の事例は従業員管理です。保育士さんの感情を把握して、労働環境の見える化とよりよい勤務環境を作ることに活用しています。こちらでは先のようなVR連携のお話も最近出てきています。

▲　スライド9・NEC 感情分析ソリューションを
建設会社の研修所、保育士の感情把握に利用した例

NEC 感情分析ソリューションは、時間や場所を問わず、感情の通った教育環境を実現することにも役立てると考えています。

iU 情報経営イノベーション専門職大学 准教授の寺脇 由紀氏（▲写真3）は「仮想空間での授業におけるMMLA （Multimodal Learning Analytics）の活用と課題」と題した講演で、NECとの実証実験を通じて自身が感じたMMLA活用における課題について説明した。

▲　写真3・寺脇 由紀氏
iU 情報経営イノベーション専門職大学 准教授

【寺脇氏】

Learning Analytics（以下LA）は、日本語では学習分析や学習データ分析と言われています。LAの定義は、「学習と学習が生じる環境を最適することを目的として、学習者とその状況のデータを測定・収集・分析し、報告すること」とされています。初期のLAでは、学習管理システムLMSに蓄積されるテスト結果など、学習履歴データが利用されることが一般的でした。学習履歴データを解析・分析して学習者に応じたドリルを提供するなど、今は生徒に個別最適化した学習を支援するアダプティブラーニングが実現できつつある状況といえます。一方、LMSで扱うデータは、学習成果に関わるデータのみであるため、学習活動の実際を支援したり評価したり、タイムリーに介入したりすることが大変難しい点が問題となっています。

▲　スライド10・LAの定義とこれまでの利用例。
学修活動にタイムリーに介入できない点が問題

先に申しあげたように、LAはLMSの学習履歴を分析することから始まりました。その後自然言語処理などの技術が発展して文字情報もLAの対象になってきました。さらに学習者が学習時に何を意図しているのかを分析するため、動作や表情などの挙動情報が活用されるようになってきました。近年では、感情の状態や集中度に関する支援の期待が高まっています。

講演タイトルの「Multimodal Learning Analytics」は、単一または複数の挙動情報や生理情報を用いて認知領域と情動領域に関する学習支援を行うことを指します。現在のところは、挙動情報や生理情報を用いて学習者の感情や心的状態の推定を目的とする先行研究が多い印象です。特に、視線情報と人間の心的状態との関連に関する知見は、研究事例が豊富です。

デバイスについては、例えば視線情報の取得には、据え置き型や装着型のアイトラッカーやアイマークレコーダーが用いられてきました。これらのデバイスを講義の中で使おうとすると特別な準備が必要でしたが、コロナ禍になってオンライン講義が行われるようになってから、またさらに、我々の取り組みのようなメタバースでの学習環境においても、デバイスを特別に準備する壁は低くなってきました。挙動情報を活用した教育的介入への模索がさらに活発化しています。

近年の教育現場では、知識伝達型の教育から参加型の学習方式に移行することが求められています。例えば教育効果が確認されている「ピアインストラクション」は、日本でも多くの先生方が講義に導入されていると思います。ピアインストラクションのような能動的学習法を仮にメタバース空間やZoom講義などで実施した場合、先生方は、「学生はちゃんと議論しているだろうか、学生同士ちゃんと協調しあっているだろうか」と、とても心配すると思います。活発でないグループを把握できた場合、適切な介入をしたいと考えると思いますが、適切な介入をすることは大変困難です。

▲　スライド11・現在の参加型の学習方式は、
先生方が介入したい状況を見つけても介入は難しい

このたびNECとiUが共同で行った取り組みは、授業進行中に学生が学習の活動に対して能動的であるかを把握し、個別化された教育的介入の実現へ向けた初期的な試みです。今回の取り組みと、これまで私自身が行ってきた研究もふまえ、実効性の高いMultimodal Learning Analyticsを実現するための課題について、私の考えをお話しします。

まず心的状態と理解状態の関連を意識する必要があると考えています。一般的にも、学習者の心的状態は理解状態に依存して変化すると考えられており、相互に関連しています。例えばこれまで学習履歴の結果のみでアダプティブラーニングを行えていたものが、LMSに認知領域と情動領域の両方を推定する機能を実装すると、学習状況に応じた心的状態の機能をLMSに入れることで、教員の経験と勘に頼っていた部分の教育的介入の支援も実現できるのではないかと思います。

▲　スライド12・実効性の高いMMLAの実現には、
心的状態と理解状態の関連を意識する必要がある

次に、科目設計と定量的な指標の接続です。先ほど、Multimodal Learning Analyticsの研究報告が蓄積されつつあることをご紹介しました。現在の先行研究は、「このデータは取得できそう」との側面が強く、具体的には研究者が推定したい心的状態は明確なのですが、どのような挙動情報や生理情報を用いるかは多種多様となっています。つまり同じ心的状態の推定にも異なった生理情報が用いられることもあり、取得された生理情報がそのまま心的状態を意味するわけではないことになります。したがって生理情報と心的状態がどのような過程で起こっているのか、的確に捉えていく必要があると考えています。

学習や教育に関するデータの特殊性についてもきちんと考えなければなりません。学習する科目によって個別性が高いものはあります。学習が進行して行く際のインタラクションがとても複雑で、学習履歴データとのかい離があったり、学習効果が表れるまで時間がかかる場合もあったりすると思います。したがって、Multimodal Learning Analyticsの活用においては、これまで教育学や教育工学で蓄積されてきた知見を再認識して、これまでの知見と適切に融合させながら実践していく必要があるのではないかと考えています。

実証実験でのアンケートデータ、定性的データの一部をご紹介します。自由記述として、学習環境に関して学習者が感じたことが自由記述で表現されています。先ほど、科目の特殊性について得られるデータの側面からお話しましたが、学習環境についても、科目の特殊性を考えなければいけないということを読み取ることができます。

メタバース空間は、学習者の学習能力を引き出したり、メタバース空間のパラメータを変えることによって学習すべき技術が習得できるようになったりする性質があると思います。メタバース空間の性質を考えた学習環境の準備も、大変重要ではないかと考えています。

▲　スライド13・MMLAの活用には、
認知領域と情報領域を推定する機能や、
科目設計と定量的な指標の接続などが必要となる

寺脇氏に続いては、iU 情報経営イノベーション専門職大学 教授の片桐 雅二氏（▲写真4）が登壇し、「高等教育でのXR活用に向けて ～VR空間で講義をやってみて感じたこと～」と題した講演で、仮想空間での講義を通して感じた課題と今後の展望を示した。

▲　写真4・片桐 雅二氏
iU 情報経営イノベーション専門職大学 教授

【片桐氏】

仮想空間で授業や講義をすることのメリットとしては、まず体験的な学習を演出しやすいことが挙げられます。また、空間的な制約や時間的な制約を超えられる、そして交流を促進しやすい、ということもあります。それに加えて、学習行動、学生の反応を定量的に把握しやすいメリットも感じました。一言でいうと、VRの授業でしかできない、リアルではできないことができます。リアルを超える効果があることもあります。それらを活用すると、非常に効果的な教育が実現できるのではないかと感じています。

▲　スライド14・仮想空間で授業を行ってみて
「教育の場として」感じたメリット

しかし、デメリットもあります。まず、資料が読みにくい。学生の方がメモを取りにくい。HMDを装着する場合、負担がかかる。VR酔いや目が疲れることも懸念されます。それから、学生のアンケートによると、慣れの問題もあるかもしれませんが、集中しにくいように感じられたという声もありました。また、すべてをVR空間でやれば、同じ授業内容でも、魔法のように必ずモチベーションが上がったり楽しくなったりして学習の質が上がる、というわけではありません。没入することに関しても、没入することに必ずしも意味があるとは限りません。やはり手段であって目的ではない、ということを意識する必要があります。つまり、必ずしもVR空間ですべてをやらなければいけないというものではないですし、VR空間でやるにしても、必ずHMDをつけて没入しなければならないのかというと、必ずしもそうではないのです。うまくデザインすることが大事であると感じています。

▲　スライド15・仮想空間を教育の場として使った時の
デメリット、仮想空間の必要性の見解

最近の教育では、いろいろな方向性が望まれています。能動的学習、主体的学びが求められていることについては、VR空間での教育効果が高いものをスポット的に入れていけばよいことになりますが、そのためにはメリットが活かされるような授業設計や教材制作をしないと、あまり価値がないことになります。また、個別最適な学びについて効果を得るためには、スポット的な導入では足りず、VR授業の面的な広がりが必要となるでしょう。

▲　スライド16・教育の場で求められる
「能動的学習」「個別最適な学び」に向けての
VRの方向性

VR空間での教育や授業を普及していくためには、やはりノウハウを蓄積していくことが必要だと思います。また、HMDを使って没入することが大事なのだとすると、HMDを長時間でも快適に使えるものにしていく必要があると思います。さらにHMDの長時間の装用には、視力に悪影響があるのではないか、眼精疲労になってしまうのではないか、斜視を誘発してしまうのではないか、あるいはVR酔いしてしまうのではないか、などといった健康への影響に関するさまざまな懸念があります。これらについては、実際に問題を起こすという医学的なエビデンスがあるのかというとあまりありませんので、「懸念」というレベルですが、教育の場での本格的な普及に向けては、さらなる事実の解明および対策も必要だろうと思います。

またメモが取りにくい等、仮想空間での操作性の向上の課題もあります。この課題の本質には、私達は現実世界にしか存在しえないということがありますので、現実世界との親和性の向上を計っていくことで解決していけるのではないかと感じています。

▲　スライド17・VRでの教育や授業が
普及していくために課題として考えられること

将来の展望としては、VRがMRに拡張・発展して現実世界と融合していくことによって、さまざまな課題が解消されて、非常によいものになっていくだろうと感じます。現実世界での教育も支援でき、仮想空間での教育も支援できることで、適材適所の教育を実現できます。併せて学習者の方の学習行動等を必要に応じて幅広く多く把握できるようになることで、個別最適な学びへも繋げられるのではないかと感じています。

▲　スライド18・VRでの教育や授業を
行うことについての将来展望

シンポジウムの最後には、iU 情報経営イノベーション専門職大学 教授の鎌谷 修氏（▲写真5）が登壇し、「仮想空間を考慮したデータ処理基盤の構築」と題した講演で、仮想空間で取得したデータをいかに実際の教育にフィードバックさせていくか、そのためのデータ処理基盤の重要性について強調した。

▲　写真5・鎌谷 修氏
iU 情報経営イノベーション専門職大学 教授

【鎌谷氏】

実際の講義の場では受講者や講演者のコンテキストデータを取得することは難しいのですが、仮想空間とリアルをうまく融合させると、さまざまなコンテキストデータを取得して連携させることができるようになります。それによって、どのようなイベントが起きたときに、参加者の発話、視線、行動、振る舞いがどのように変化するのかといったことを把握できると考えています。このようにデータを活用して、教育手法や教育効果にどううまくフィードバックをかけていくかが、私共の課題になると考えています。

▲　スライド19・仮想空間から取得した
コンテキストデータを連携し、
うまく活用できるかが課題

仮想空間での授業においては、講義がどんな形で遷移して、グループワーク、質疑応答など、いつどんな情動・行動があったか、あるいは実施している授業科目の特性、学生それぞれの特性、志向などを把握することが重要です。学生が授業にどれぐらい興味を持っていて、取り組みの度合いはどれぐらいかを、なるべく客観的定量的に把握したいと考えています。

実証実験から、参加した学生の情動データをご紹介します。講義説明からグループワークへシフトし、次のグループワークに移っていく際に取得されたデータです。このようなデータを活用し、各学生の過去の履歴など含めてモデル化して特長の抽出などを行い、各コンテキストに合わせて学生個別の情報推薦を行えないかと考えています。

▲　スライド20・仮想空間での講義中に
取得された学生の情動データの例

これまでも学生管理データやLMS、学習コンテンツなどはありましたが、仮想空間ではより扱うデータ量が飛躍的に上がり、リアルタイム性のあるデータを取得して格納する必要もあります。そのデータ処理の基盤をいかに効率よく構築していくのか。実証実験を推進することでデータはこれからも増えていきますし、いずれはLMSや既存の学生管理データとも統合させてデータ処理基盤を構築する必要があると思います。

実証実験を進める上でも、このようなデータ処理基盤を構築していく必要性を感じています。具体的にどうするかは、みなさんと意見交換しながら作り上げていければと考えています。

▲　スライド21・仮想空間を考慮したデータ処理基盤。
今後実証を進める上でも構築が必要

iUでは、このような取り組みを今後も推進していきます。具体的な成果に繋がる取り組みもご報告できればと考えています。

＞＞　後半へ続く