超教育協会は2022年12月7日、東北大学大学院教育学研究科 教授の小嶋 秀樹氏をお迎えし、「ロボットを活用した発達障害の研究と療育実践」と題したオンラインシンポジウムを開催した。

人とのコミュニケーションが苦手なASD（自閉スペクトラム症）の子どもたちを対象に、ロボットを活用した社会性の発達支援のための研究が行われている。コミュニケーション療育を支援するぬいぐるみ型ロボット「Keepon（キーポン）」の開発者でありロボットを活用した療育のあり方を研究する小嶋氏に、コミュニケーション療育の実践例、ロボット活用の可能性について解説していただいた。後半は、超教育協会理事長の石戸 奈々子をファシリテーターに、参加者を交えての質疑応答が実施された。その前半の模様を紹介する。

＞＞　後半のレポートはこちら

＞＞　シンポジウム動画も公開中！Youtube動画

「ロボットを活用した発達障害の研究と療育実践」

■日時：2022年12月7日（水）12時～12時55分

■講演：小嶋 秀樹氏

東北大学大学院教育学研究科教授

■ファシリテーター：石戸 奈々子
超教育協会理事長

【小嶋氏】

私は工学の出身ですが、紆余曲折あり、現在は教育学系の部局でコミュニケーション発達やその障害の研究をしています。研究キーワードには「発達」「言語」「コミュニケーション」「自閉症」「ロボット」「脳」があげられます。自分が何屋なのかわからなくなることがありますが、「認知科学」が専門だと自己紹介しています。

学生時代から機械による言語獲得が夢でした。今は統計的学習を使って音声で会話ができるAIスピーカーがありますが、「今日は寒いね」とか「あぁ疲れた」と話しても、なかなか共感が得られません。やはり人間と同じように、世界を感じとって世界に働きかける実体験を通して、言語やコミュニケーション能力を獲得していかなければいけない。そうした実体験ができるのがロボットです。私の学生時代にはそんなロボットは売られていなかったので、自分で作るしかありませんでした。

▲　スライド1 ・機械による言語獲得 － 学生時代からの夢

最初は目玉だけが動く「アクティブビジョンヘッド」というロボット（スライド1）を作っていましたが、アメリカで滞在研究をした後、「ヒューマノイド」ロボットを作るようになりました。そして、それを使った言語獲得やコミュニケーション発達の研究に入ってきたわけです。

＜動画１・Infanoidとの共同注意＞

まずは、ロボットを作る、育てることを通して子どもの認知発達を再現し、より深く理解しようという研究アプローチについてお話しします。動画（動画１）は「Infanoid（インファノイド）」という上半身だけのロボットですが、4歳児の大きさにしてあります。背後にある2つのモニターのうち左側は、全体を見渡した映像、右側は視野の中心を詳しく捉えた映像です。Infanoidは、人とコンタクトをとったときに、その人が見ているものを追いかけて一緒に見ようとします。また、人の言葉をそのまま真似ることもできます。こうしたことは、音声処理と画像処理によって自動的に実行しています。なんとなく、親が子どもに言葉を教えているような感じを彷彿させると思います。

このやりとりで重要なつながりを作っているのが「アイコンタクト」と「共同注意」です。アイコンタクトは互いの顔や目を見つめ合うことです。そこでは、やりとり（インタラクション）に時間的な同期を与えたり、表情や身振りや行為を交換する機会になります。共同注意は、同じぬいぐるみを一緒に見ている状態ですが、インタラクションに空間的な焦点化を与えて、知覚情報を共同化できるというものです。

先ほどのビデオでは、アイコンタクトと共同注意を行き来していました。そのなかで、共同注意では意識の対象にしているものを認識し合い、アイコンタクトでそれぞれがどのように感じているかを了解し合います。こうした相互了解は言葉を使わなくても可能なため、言語獲得に向けた重要な指標になると考えられます。

発達心理学では、子どもの社会性の発達には段階があると考えられています。出発点になるのが、アイコンタクトと共同注意です。そこで対象への向き合いを共有しつつ、子どもは親からさまざまな行動パターンを学習します。その親子のやりとりのループのなかに、言語や文化というものが少しずつ導入され、やがてそれが子どものなかに蓄積されていきます。

さらにそうした行動パターンが抽象化・カテゴリー化され、相手の行動を理解・予測したり、あるいは制御するといったことが少しずつ可能になります。さらに、相手が対象に何をしようとしているのか、その目的や意図を理解することも可能になっていきます。それが、他者を共感的に理解したり、共通の目的のために協調したり、他者を援助するといった、おそらく人間にしか見られない社会性の獲得へとつながるものと思われます。

このようなアイコンタクトと共同注意を前提条件として社会的に構成されていく社会性の発達プロセスに、ロボットを作って育てることを通して解明するということです。まだこの研究には明確な結論が出ていないですが、何が子どもの発達の前提条件になっているのか、どんな養育環境で開花できるのかを、じっくりと実証的に研究できたらと考えています。

＜動画２・Infanoidと子どものインタラクション＞

ロボットを作り育てるという研究の一方で、子どもがロボットにどう関わろうとするかの観察も進めてきました。ビデオ（動画２）では、4歳の男の子が持つぬいぐるみに、Infanoidが手を伸ばしたり、指さししたりしています。それに対して、男の子はぬいぐるみを手渡します。また、自分が大好きなミニカーをInfanoidに見せて、手の中に入れてあげようとします。そして自分がミニカーで遊ぶところをInfanoidに見せています。男の子はInfanoidの身体動作から欲求や興味を読みとり、それに応えようとしているのです。4歳児なら、このように社会的にロボットと向き合ってくれます。

一方で3歳児以下の場合、Infanoidを怖がって泣いたりして、意味のあるインタラクションが生じないことが多くありました。自分より大きく、メカがむき出しのため、人らしさを読みとれなかったのだと考えます。ただ3歳児までは言語獲得にはとても大切な時期で、その時期を対象とした「赤ちゃん研究」が重要になります。それには、もっと小さくてシンプルなロボットが必要であることがわかりました。

▲　スライド2・小さくてシンプルなKeeponへ

そして作ったのが、「Keepon」というロボットです。黄色い部分はシリコンゴムでできていて、高さが12センチです。2つの目がビデオカメラ、鼻がマイクになっています。モーターや制御コンピューターは筒の中にあり、モーターに接続したワイヤーで、下から体をドライブするようになっています。操り人形を上下逆さまにしたような感じです。

＜動画３・Keeponのコミュニケーション動作＞

Keeponにオモチャを見せると、目でそれを捉えて視線を合わせて、興味がありそうな仕草をします。人が近づくと顔を見てアイコンタクトをとり、感情的な高まりを、体を弾ませて表現します。このようにKeeponにできるのは、視線をあちこちに向ける注意の表出と、感情の表出です。つまり、視線を向ける対象への興味、楽しさの表現、あるいは人に視線を向けて何かの感情を伝えようとすることだけなのです。それしかできないですが、これだけでアイコンタクトと共同注意はもちろん可能、感情のやりとりも可能で、基本的なコミュニケーションができます。そうしたコミュニケーション以外の要素はすべて削ぎ落とした、必要最低限のミニマルデザインになっています。

＜動画４・Keeponと２歳児のインタラクション＞

動画（動画４）は、Keeponと2歳3カ月の女の子とのやりとりの映像です。左下はKeeponの目から見た映像です。女の子はぬいぐるみを使って「こんにちは」をしています。実はこれは、Keeponと遊んであげているのです。そしてKeeponが意味のある行動をすると、頭をなでて「よくできました」と褒める。このように、2歳児以上になると、社会的であるだけでなく、弟や妹の面倒をみるような向社会的（プロソーシャル）な行為をKeeponに見せてくれます。

一方、0歳児から見たKeeponは動くオモチャに過ぎず、物的な関わりをします。1歳児になると対等な遊び相手としてKeeponと関わり、とてもプレイフルな雰囲気でやりとりを楽しめるようになります。そして2歳児になると、世話を焼くことができるようになる。

さまざまな月齢、年齢の子どもたちのインタラクションを観察したところ、子どもの発達段階ごとに、Keeponへの意味づけ、Keeponへの行為が変容していきました。つまりこのロボットで、子どもの内面の発達を、外的な行動から垣間見ることができるとわかってきました。

これを世の中の役に立てることはできないかと、保育園や発達障害児の療育施設にKeeponを持ち込み、自閉症児とのインタラクションを長期観察しました。自閉スペクトラム症（ASD）は、現在は子どもの行動上の特徴を見て医師が診断を下しています。その基準になっているのが、ひとつは言語または非言語による社会的コミュニケーションの障害、もうひとつは興味や行動が狭い範囲に限局されてしまうこととなっています。この両方を満たすとASDと診断されます。

自閉症は、約4対1で男の子のほうが多く、IQ70以下の知的障害になる割合が3分の1強あります。ただ、残りの3分の2はIQが境界値か、正常以上になる場合があります。けいれんやてんかん、脳波異常がよく見られるため、その裏には脳障害があると考えられてきました。また、双生児や兄弟姉妹での共起リスクが遺伝子の共有率と連動するため、遺伝的要因があることも知られてきました。ただし、遺伝で説明できるのは60％程度で、環境要因も無視できません。

アメリカの11の地域で8歳児を対象に行われた最新の疫学調査によると、ASDの有病率は2.3%、44人に1人だそうです。2年ごとに調査していますが、増加傾向が続いています。44人に1人というのは、教育や療育に必要な社会的リソースを考えると無視できない数です。そこにはなんらかのイノベーションが必要だと考えられます。

そうした考えのもとに私たちは、Keeponを活用した自閉症療育支援を、パイロットスタディーとして実施しました。自治体が運営している発達障害療育センターがフィールドになっています。そこには自閉症などの発達障害を持った子どもたちが、保護者と療育士とでグループを作り、6〜8組が集まり、プレイルームでグループ療育活動や自由遊びを行っています。そこに、無線LANなどを組み込んで遠隔操縦を可能にしたKeeponを持ち込みました。

Keeponは遊具のひとつとして、子どもたちが好きなときに遊べるよう、さりげなく置いておきましたので、かなり自然観察的なセッティングになっています。これで、1回3時間の療育セッションを130回ほど行いました。その間に、診断は下っていないが自閉症の疑いのある子どもも含め、約50名の自閉症児と出会うことができました。短い子どもで5カ月間ぐらい、長い子だと3年近くにわたり長期縦断的にインタラクションを観察しました。

子どもたちの全体的なインタラクションの傾向として、対人的なアイコンタクトも多く見られましたが、一方で、触って反応を引き出すという、オモチャとして物的に扱う遊びも並行して始まりました。

▲　スライド3・Keeponとの交流のグラフ

このグラフ（スライド３）は、3歳の自閉症児PちゃんがKeeponとアイコンタクトをとったときの距離をプロットしたものです。最初はけっこう近くまで寄ってきてくれましたが、何か気持ち悪いと思ったのか、2ｍ半ほどに離れてしまいました。そこから数カ月をかけて、ゆっくり距離を詰めていきました。PちゃんがKeeponを初めて触ったのは、4カ月目のことでした。最初はKeeponに対する恐怖心と興味が交錯していたようですが、やがて恐怖心や予測不能性が和らぐと、Keeponに帽子をかぶせる、ハグやキスといった対人的な行為が現れ始めました。対象となった自閉症児が言葉を発することは滅多になかったのですが、非言語的な双方向のやりとりが見られるようになりました。

こうした一連の変容は、ほとんどの自閉症児に見られました。2〜3カ月で変化する子もいれば、1年ぐらいかかる子もいましたが、普段は人に見せない行為をKeeponには見せてくれました。自閉症児は人との社会的なコミュニケーションが困難なのに、Keeponとは社会的なやりとりを楽しむことができたのです。不思議なことです。いったいなぜなのかと考えました。

▲　スライド4・なぜKeeponなのか

その疑問に対する私たちの仮説を紹介します。子どもが他者（大人）と対峙している状況をイメージしてください。他者からは常に大量の生データが発信されています。骨格の状態、関節の状態、動きやスピード、顔面だけでもたくさんの表情筋（アクションユニット）の状態と動き、視線の向きや動き、声に含まれる言語情報や韻律情報といった大量の生データが流れ込んできます。定型発達の子どもは、脳内の心理化フィルターによって、相手の注意がどこにあるか、感情、欲求、興味、次に何をしようとしているのか、どこに向かおうとしているのか、などの情報をうまく抽出しています。

それは少量かつ低次元のデータになるため、コミュニケーションに向けた動機付けに接続でき、社会的なやりとりがうまく回り出すのではないかと思われます。

自閉症児の場合、心理化フィルターがうまく機能せず、流れ込んでくる大量のデータをそのまま受けとって、情報洪水の中で困惑しているのだと思います。

一方Keeponは、注意の向きや感情の状態だけをわかりやすく表出するようにデザインされていますので、心理化フィルターが機能していない子どもでも、心理的情報をなんとか抜き出すことができます。自閉症児もコミュニケーションに向けた動機付けを確かにもっていると思われるため、そこに接続して社会的なやりとりが楽しめたのではないかと私たちは考えます。現在、私たちは、この仮説を実証すべく、心理化フィルターの実体を求めて、脳研究とのつながりを深めています。

▲　スライド5・Keeponの遠隔操縦

療育施設でのKeeponは、実はオブザベーションルームに機材を置き、そこに私や共同研究者や療育士が隠れてKeeponを遠隔操縦していました。もちろんKeeponは、画像処理と音声処理を使って自律運転できますが、それぞれの子どもの特性に合わせて、子どもの関わりをじっくり待ってあげることが必要です。また、関わり合いが発生したとき、たとえばオモチャの食べ物をKeeponのところへ持ってきたらKeeponに食べる動作をさせるというように、その子の意図を汲んで、しっかりと意味付けをした応答を返したいのですが、機械システムではまだそこまではできませんので、人が遠隔操縦するようにしたのです。

これは、研究者や療育士が、ロボットの一人称的な視点で子どもとのやりとりを実践する「参与観察」です。遠隔操縦システムを通して、研究者や療育士が子どもの世界に入り込むのです。しかも生身の体としてではなく、シンプルで小さいKeeponの体を借りて、わかりやすい動作で、子どもたちと交流するわけです。

私がカメラを担いでズカズカと入っていくと、子どもたちの世界は壊れてしまいます。私たちは、Keeponの体を借りなければ見えない世界を一人称的な視点からビデオに記録し、分析してきました。興味深いのは、Keeponの目線から捉えたそのビデオを見ることで、誰もがKeeponになった気持ちで、子どもたちとのやりとりを追体験できる点です。その追体験によって、私だけでなくほかの研究者も、ひとりひとりの子どもに対する理解を深め、内面に迫ることができました。

▲　スライド6・分析システム

これは私たちが使っている分析システムです。子どもたちのビデオを少しずつ再生しながら、子どもの行為や状況を客観的なデータとして記録していくわけです。また、子どもの内面や周囲の雰囲気などは、研究者が解釈をして「主観的アノテーション」として記述しています。複数の研究者が互いのアノテーションを参照しながら、自分が感じとった子どもの内面や周囲の状況や先生の意図などを言語化していくわけです。1回3時間のセッションの分析に1週間かかったり、なかなか骨の折れる作業ですが、まずはパイロットスタディーとして、子どもの内面にどれだけ迫れるか、また子どもから見たロボットの意味付けがどう変容していくのかを詳しく調べています。

自閉症児ではなく、保育園の3歳児クラスで並行して行った長期インタラクション観察から見えてきたことがあります。療育施設の子どもたちは、面白いことに、ひとりずつKeeponと遊びます。誰かがKeeponと遊んでいるときは、そこへ割って入ることはせず、その子が遊び終わるとスッと入ってきます。一方、定型発達児が集まる保育園では、多くの場合Keeponは複数の子どもたちに囲まれていました。そこでは、子どもたちがKeeponへの行為を出し合います。そして互いの行為、つまりKeeponに対する意味付けを交換したり、参照する様子が見てとれました。そういう意味で、Keeponは子どもたちのハブ、またはピボットとして機能していたと思われます。

Keeponを囲んでいる子どもたちは、Keeponがインフルエンザに罹っているとか、熱があるとか、この子はウチの赤ちゃんですといった、いろいろな想定をします。スプーンで薬を飲ませるような見立てをしたり、「私はKeeponのお母さん、あなたはお父さん」というように役割を想定したりして、ある種の「ままごと」に入っていくわけです。最初は、子どもたちの想定や見立てがバラバラでしたが、互いの行為を参照し合うなかで次第に収束していって共同化されていきました。保育園では、そうしたシーンをたくさん見ることができました。

そこで言えるのは、子どもたちがファンタジーを共同構成しているということです。私たちは、これを最近注目されている「予測符号化理論」という認知モデルとからめることで面白い研究になりそうだと考えています。

私たちが目指す人間理解、発達理解には、いろいろな学際領域があります。ひとつの領域を深めていくのも重要な研究ですが、私自身の研究スタンスは、いろいろな分野を自由にトラバースしながら、さまざまな研究知見をつないで、総合的、統合的な発達理解につなげるというものです。脳、遺伝、心の進化などの分野とのつながりも深めつつ、学際的なアプローチで子どもの発達、教育、療育を研究していまして、そうした分野に貢献できればと考えています。

＞＞　後半へ続く