超教育協会は2021年1月13日、株式会社I’mbesideyou（アイムビサイドユー）の神谷渉三氏を招いて、「マルチモーダル AIで読み解く、オンライン教育の秘訣」と題したオンラインシンポジウムを開催した。

シンポジウムの前半では神谷氏が、I’mbesideyouが提供するマルチモーダルAIでオンラインコミュニケーションの動画を解析するサービスと教育業界での利用事例を紹介。後半は、超教育協会理事長の石戸奈々子をファシリテーターに､参加者を交えての質疑応答を実施した。その前半の模様を紹介する。

＞＞　後半のレポートはこちら

＞＞　シンポジウム動画も公開中！Youtube動画

「マルチモーダル AIで読み解く、オンライン教育の秘訣」

■日時：2021年1月13日（水）12時～12時55分

■講演：神谷渉三氏
株式会社 I’mbesideyou代表取締役社長

■ファシリテーター：石戸奈々子
超教育協会理事長

神谷氏は30分間の講演において、I’mbesideyouの設立の経緯と、オンライン授業動画をマルチモーダルAIで解析する同社のサービスとその仕組み、さらに同社の顧客による教育分野での利用事例と、同社の展望について紹介した。

【神谷氏】

もともと私は「社会全体を学校にする」を人生のビジョンとしていまして、息子の小学校入学をきっかけに教育サービスを立ち上げました。私は、子供たちが社会に出て自己実現をしようとしたときに、「出る杭は打たれる」ことにジレンマを感じていました。このため、社会全体のものさしをテストの点数などの一律のものではなく、それぞれの個性に沿ったものにしていくためのサービスを作りたいと思い、I’mbesideyouを設立しました。

当社は、コロナ禍をきっかけに2020年6月に法人登記をしたばかりの若い会社です。エヌ・ティ・ティ・データ（以下、NTTデータ）で動画AIの開発を担当していたスペシャリスト3名と弁理士１名で、システムと特許を内製で作れる体制を整えています。

コロナによって、世界中の人がオンラインでコミュニケーションを取るようになりました。しかしリアルと比べてどうしても、一人ひとりの表情や反応が読みづらいことが「ペイン」となっています。I’mbesideyouでは、このペインをゲインに変えるサービスを作っています。

具体的には、オンライン動画の中の人の表情、視線、音声などをAIでセンシングして結果を総合的に判断する仕組みを作って提供しています。

▲　スライド1・オンライン動画をAIで分析して、

一人一人の個性を深く理解する仕組み

一人ひとりの個性を、反応から理解することで、ベストなコミュニケーションを作っていくのが目的です。

皆さんの反応には癖のようなものが必ずあります。例えばある子はいつもニコニコしているとか、ある子はクールでたまにしか笑わない、といった癖です。この癖や個性を理解することがポイントです。

AIによる解析は、一人ひとりの個人の中の相対的な反応を見ています。この子がこの1カ月で一番笑ったのはどこか。もし普段や3か月前の様子と比べて表情が暗かったら、何かあったのではないかと気づきます。個人の中の相対値を比較し、AIで判断することがこのシステムの特徴です。

当社では、このAIによる解析の仕組みを、新しい教育を志向する会社のサービスに組み込み、Zoomで行った授業を全自動でAI解析してレポートを出力できるようにしています。レポートは、例えば授業中に使われた言葉で検索すると、いつどんな状況でその言葉が出てきたか、文字と音声で確認できます。また授業中の生徒の感情の変化や集中度も一覧で分かります。その子が笑顔だったシーンを1分にまとめたダイジェスト動画も作ることができます。

▲　スライド2・Zoom授業動画をAIのシステムが

自動解析してさまざまな分析結果をレポート

AIによる解析システムが、教育でどのように利用されているのかご紹介します。オンライン家庭教師サービスのBANZAN様は、Zoomを使って全国に家庭教師のサービスを提供しています。オンライン授業のデジタルデータを経営に活用する目的で採用いただきました。

▲　スライド3・教育への活用としてオンライン家庭教師サービスBANZANの事例

Zoomの法人アカウントを私達のサービスとをリンクさせる設定をすると、例えば学習塾などの経営層や管理職の方々に日々、前日に行われた授業のデータ解析結果のレポートが届くようになります。レポートには何かアクションをした方がいいものだけが表示されます。

▲　スライド4・日々、自動配信されるレポートの例

例えば、生徒の発言がほとんどない、連絡なしで遅刻や欠席をした生徒がいた、「志望校を下げろ」とNGワードを発した先生がいたなどです。ただしネガティブ面の報告だけでなく、授業のあと生徒の表情がとても良くなった、よい授業をした先生がいたなどの報告もされます。

そして、例えば「志望校を下げろ」の横のURLをクリックすると、問題のシーンが頭出しで再生されて、実際の現場がどうだったかも見ることができます。要注意事例は個別に注意喚起して、良い事例はスタッフ皆でシェアするといったPDCAを繰り返すことで、授業の質の向上に向けた継続的な改善をもたらします。

このシステムでは、生徒が喜んでいる様子や集中している様子のダイジェスト動画を自動で作る機能も提供しています。保護者の方に見せて安心していただくことで、学習塾や家庭教師の派遣事業であれば解約率が下がったり、口コミで新規のお客様をご紹介いただいたりといった効果がでています。

▲　スライド５・オンライン教育の質の担保はじめ、

信頼度を上げる効果も期待できる

BANZAN様ではこれまで、現場の担当者のレポートや生徒の満足度調査では良い結果なのに、「実は不満を持っていて辞めてしまう」ということが起こっていました。原因が分からなかったところへ全ての授業動画を解析して、客観的なレポートを提供したことで、経営層が良い事例も、悪い兆候もすぐに把握できるようになりました。先生や生徒は、自分たちの様子をダイジェスト動画やレポートで振り返ることができ、さらに先生は、頑張っても誰からも褒められなかったところ、「この工夫は素晴らしいですね」と褒められることでモチベーションも上がり、よりよい授業が生まれるサイクルもできます。そして保護者も子供の様子を見られて安心する。Win-Winの構造になりました。

現時点では、動画解析で解約の兆候の84%ぐらいを検知することができています。例えば、数学と英語を取っていた生徒が英語だけ辞めたケースがあったときに、何が特徴量の差分だったのかを解析してディープラーニングさせると、辞める傾向のロジックが分かります。それと比較します。

▲　スライド6・動画解析結果から解約検知ロジックを生成

だいたい3回ぐらい悪い授業が続くと生徒は辞める確率が高まるのですが、毎日チェックすることで1回目が起こったときに対策をして、2回目が起こらないようにできます。結果として解約率低下を実現しています。

I’mbesideyouでは毎月、数万時間以上という膨大な量の授業動画データを解析しています。コロナになってオンライン授業が増えて解析対象となるデータ量も大幅に増えました。それを解析することで新しい発見ができてきていると思います。

例えば、解析結果の新しい活用としては、先生をカテゴライズした例があります。楽しい授業をした、生徒の会話を多く引き出したとか、この先生とこの生徒は合いそうだといった相性判定、一番いい先生を授業に送り込むマッチングといった、過去にはない用途にも有効に活用できます。

▲　スライド7・先生の強みを可視化し、

生徒との相性判定等に利用する

サービス形態は、解析人数一人当たりのサブスクリプション的な形で安価にご提供しています。大手からも引き合いがありますので、日本の教育業界に浸透していく手ごたえを感じています。

授業中の表情変化を解析することで、授業の内容や質を分析することもできます。

▲　スライド8・表情変化のレポートで授業中の表情の様子が分かる

緑は笑顔で、赤は不機嫌と思ってください。最初のアイスブレイクの段階では笑顔でしたが、演習などをやって復習をすると実は分かっていなくて不機嫌になる、でも最後は笑顔に戻って終わるといったように分かります。一方、先生も生徒もほとんど表情の変化がなく淡々と授業が進むこともあります。このように先生や授業によってパターンが全く変わります。

▲　スライド9・先生も生徒も表情の変化がなく授業が進んだ例

「よい授業」では、先生がときどき生徒の笑顔を引き出しリラックスさせながら授業を進めていることが読み取れます。

▲　スライド10・生徒がときどき笑っている、

飽きさせない工夫が見られる

表情の意味合いをどう読み解いていくかについては、今後も研究を進めてまいります。

また、「表情と音声の組み合わせ」で解析できることも特長です。例えば、「ありがとうございます」とポジティブな言葉を発しながら表情は違う。「分かった」と言いながら、顔では分かっていない、笑顔なのに嫌味な発言をしている、など言葉と表情が違う場合、その場の満足度は下がる要素になります。

▲　スライド11・発言と表情が伴わない場合もあり、

このときは満足度が下がる傾向

これまでのAIでの解析は、表情解析だけ、音声解析だけといった一部の解析だけするケースがほとんどでした。私たちは、表情と音声を同時にとり、顔の向きや視線、音声のピッチまでとり、これらのシグナルの相関を解析することで初めて分かることも多いことに気づきました。この分析をより深めることで、かなり面白い解析ができると考えています。

授業の全体の進行を俯瞰的に捉えるのにも、AIによる解析は有効です。例えば、授業中の発言割合の解析にも活用できます。

先生と生徒はどれぐらい会話しているか、先生が一方的にしゃべりすぎていないかなどをモニタリングできます。生徒は、授業時間の4～5割くらい発言していた方がよいとされているのでので、「もう少し生徒の発言を促すような工夫が必要だ」といったアクションを検討できます。他にも、エモーショナルなやり取りかどうか、笑顔が出ているか、集中度がどれくらいか、画面共有はどれぐらいしているかなどの表も提供しています。

▲　スライド12・全体俯瞰のグラフ例。

生徒がどのぐらい発言したかの割合

教育以外の産業分野、営業のセルフトレーニングや受注確度のヨミの自動化、婚活ビジネスで相手が他の異性と会っているときの表情を知りたい、といったニーズにも対応できます。今後対応したいのは、メンタルヘルス系です。表情が以前と比べてどれぐらい変わったかで、うつ病、子育て中の母親による児童虐待、パワハラやセクハラなどをチェックして人の健康を守るものです。

今後は、日中印の三極体制でのグローバル展開を考えています。当社にはインド工科大学のエンジニアが4人ほどおりますので、彼らの大学の学生たちに使ってもらい、インドのマーケットに合うローカライズをして、グローバルに使える仕組みにしていく予定です。何百万時間のデータでも解析できる規模のプラットフォームを、私達は最初に作ったので、それを教育や営業、HR、オンラインデーティングやヘルスケアに展開していきたいと考えています。

▲　スライド13・インドと中国のマーケット向けにも、

今後システムをローカライズして展開予定

オンラインコミュニケーションに特化したマルチモーダルAIは、世界的にもやっている会社はないか、あっても私たちには及んでいないと考えられます。データをたくさん解析すればするほど、分かることは多くなっていきます。現在も他社の10分1ぐらいの価格で提供できていますが、今後さらに1時間当たりの動画解析費用を極限まで安くする（Ddemocratize：デモクラタイズ）で、世界中の人達のコミュニケーションをより良くするサービスを提供したいと思っています。

▲　スライド14・サービス料金を極限まで安くして提供していく予定

私達は、世界中の人がそれぞれ唯一無二のかけがえのない個性を持った存在であることを理解してコミュニケーションができる社会をめざし、活動を続けていきます。

＞＞　後半へ続く