超教育協会は2021年3月24日、慶應義塾大学大学院メディアデザイン研究科 教授の南澤孝太氏を招いて、「触覚から人の可能性を拡張する～『Haptics』で実現できること」と題したオンラインシンポジウムを開催した。

シンポジウムの前半では、南澤氏が、「触覚」を扱うテクノロジーとその実践活動に関するプレゼンテーションを行い、後半では、超教育協会理事長の石戸奈々子をファシリテーターに参加者を交えての質疑応答を実施した。その前半の模様を紹介する。

＞＞　後半のレポートはこちら

＞＞　シンポジウム動画も公開中！Youtube動画

「触覚から人の可能性を拡張する
～『Haptics』で実現できること」

■日時：2021年3月24日（水）12時～12時55分

■講演：南澤孝太氏
慶應義塾大学大学院メディアデザイン研究科 教授

■ファシリテーター：石戸奈々子
超教育協会理事長

触覚技術を活かして身体的経験を伝える「身体性メディア」のスペシャリストとして知られる南澤氏、約30分間の講演において、VRの世界で果たされる触覚の役割と、触覚を使ったコミュニケーションの事例について説明した。主な講演内容は以下のとおり。

VR技術が普及した世界で私たちが実現したいことは主に3つあります。1つめは、スポーツなどをただ「見る」のではなく「体感する」仕組みを作ることです。例えばサーフィンのような普通の人が体験できないことを、全身を使って自分の経験として感じられるようにしたいと思っています。

2つめは、人と人とを繋ぐことです。VRというと「コンピューターゲームの世界を体験するためのもの」というイメージがありますが、本来は人と人とが体で触れ合う、まさにコロナ禍で失われつつある「ふれあい」や「親密さ」をデジタル空間で生み出せる技術です。

そして3つめは、もう少し純粋に「空を飛ぶ」とか「遠くに瞬間移動する」といった、人間が持っていない能力を創り出すことです。

▲　スライド1・VR技術が実現する3つの要素

こういったことの全てが「私たちが感じる体験」であるというところに着目して、身体的な経験をデジタル空間で共有したり、ゼロから創出したり、感じていることを拡張したりできる、そういった技術を「身体性メディア」と呼んで研究を進めています。

▲　スライド2・経験を共有/創造/拡張する

「身体性メディア」の創出

「身体」ということを考えた時に重要になるのが、今回のテーマである「Haptics」です。私たちは日々何をするにしても、身の回りの物や環境に触れ、触れられるという環境の中で多くの経験を重ねています。こうした「触覚」を扱うデジタル技術があれば身体で感じた経験を創出できるのではないか、という考え方から生まれたのが、指先で触れることのみならず「抱きしめられる」とか「地面をザクザク歩く」といった身体感覚を広く含む概念としての「触覚（Haptics）」です。

これまでに開発してきたHaptics技術を紹介します。私が修士課程に入った2005年頃、最初に担当したプロジェクトが、当時開催されていた愛知万博（愛・地球博）へのさまざまなロボットの出展でした。その時に作った遠隔操作ロボット「Telexistence（テレグジスタンス）」は、コックピットで操縦者が手を動かすと、離れた場所にいるロボットが全く同じように動き、ロボットが何かを掴むとその感触が操縦者にフィードバックされるというものです。

ただし、「コテコテ」のロボットシステムだったので、思い切りシンプルにしないと実用的にならないと考え、大学院修士研究で触覚再現技術の簡略化に取り組み、最初に作ったのが「GravityGrabber（グラビティグラバー）」です。

▲　スライド3・シンプルさと低コストを追求した「GravityGrabber」

これは、当時新製品だった3Dプリンターで作った装置を指に装着し、コンピューター画面上の箱の中にボールがコロコロと入ってくると、手に持った空箱にもボールがコロコロと入ってくる重みが感じられ、ボールが転がり出るとまた軽くなる感じがする仕組みです。この技術を応用したグローブを装着すると、コンピューター世界の中の物をつかむことが実現できるわけです。

GravityGrabberは、先程のロボットと比べてコストが1/1000程度の非常に簡便なシステムになりましたが、これでもまだ何かが足りません。いろいろな人に体験してもらうと、大人も子供も皆「面白い」と言ってくれますが、それで終わってしまうのです。スマートフォンのように世の中に普及している技術は、「写真を撮る」とか「絵を描く」とか、自分で何かを創造することができます。それがないので先の広がりもないことに気づきました。

それで、誰でも簡単に「触覚の体験」を作り出せる装置として10年ほど前に開発し、今でも使っているのが「TECHTILE toolkit（テクタイルツールキット）」です。

▲　スライド4・誰でも触覚を創造できる「TECHTILE toolkit」

これには「触覚を取得する」センサーと「触覚を再現する」アクチュエーターがあり、例えば赤い紙コップにセンサー、白い紙コップにアクチュエーターを貼り付け、赤い紙コップにビー玉を入れると白いコップには何も入っていないのにビー玉が「コロコロ」転がる感覚が再現されます。ビー玉の代わりに砂を入れればより細かい「サラサラ」とした感覚、ソーダ水を入れれば「シュワーッ」とした感覚が伝わります。

この動画はYouTubeでも公開していますが、この装置をつなぐとその動画の中での触感を体験することができます。

この技術はもちろん紙コップ以外にも応用できます。例えば、バトミントンのラケットに触覚センサーを組み込むと、シャトルがラケットの芯に当たったり、外したりした時の感覚がわかります。このような実験を楽しめるワークショップは、これまでに数百回開催していますが、参加した子供たちは、自ら試行錯誤を繰り返しながら触覚を使った作品作りに熱中しています。

最初は、さまざまな素材を入れた紙コップを振った時の違いを試したり、スライムのペタペタ感を相手に伝えようとしたり、いろいろな感覚を楽しむところから始まりますが、次第にこれを使った新しい道具づくりにチャレンジし始めます。スライド5右下は、ポテトチップスの袋に触覚センサーを取り付け「ポリバケツの中に大量のポテトチップスが入っている」感覚を作り出そうとしているところです。

▲　スライド5・ポリバケツを「大きなポテトチップス」にする

このような感じで写真を撮るように、触覚のコピー&ペーストが行えますので、「どこかの触り心地」を取ってきて自分なりのデザインを施すこともできるようになってきました。例えば、小学校高学年の男の子の作品では、貝殻や石ころを入れたザルを揺らして「ササー」という波のような音を作り出し、それをサンダルに振動として伝えます。これを履いて目をつぶって歩くと、まるで波打ち際を歩いているように感じられます。

先ほどのサンダルの技術を発展させた展示会向けのプロダクトも、メーカーと共同で作っています。例えば、水の上や雪の上、落ち葉の上などさまざまなシーンを歩いている感覚を楽しめる靴で、自分の靴に写真右のような白いアタッチメントを付けることで、さまざまな歩く感触を楽しむことができます。

▲　スライド6・自分の靴でもさまざまな地面を体感できる

触覚を手や足だけではなく、全身に伝える取り組みも行っています。エンハンス、ライゾマティクス及びソニーのPlayStation VR開発チームと共同で実施したプロジェクトで、スーツに振動アクチュエーターを取り付け「ブルッ」、「バシッ」あるいは「サラッ」と震えたり「コチョコチョ」とくすぐられる感じがしたり、さまざまな感覚を伝えることができます。

▲　スライド7・触覚スーツ＋HMDで

体ごとVRゲームの世界へジャンプ

このスーツはPlayStation VR発売時にリリースしたものです。VRのHMD（ヘッドセット）だけでもリアルな映像は楽しめますが、頭はゲームの世界に入り込めても、体は現実世界に残されたままの状態です。しかしこのスーツを着て体験するとゲーム世界の感覚が全身に伝わり、仮想現実の世界を全身で体験することができます。私たちも実際に試してみたのですが、自分たちで作った感覚とはいえ、本当に体ごと持っていかれるようで、自分が現実世界にいることすら忘れさせてくれる体験に非常に驚かされました。

ここまで紹介してきた「バーチャルな体験」の創造とは別に、他人の「リアルな体験」を伝えることもできます。テレビや電話が、誰かの見た物や話した声を届けるように、誰かが触った感覚をそのまま届けることもできるのです。指先に付けた触覚のセンサーを介して、この人が触った感覚を離れた人にそのまま届けるという実験もしています。

▲　スライド8・指先のセンサーで取得した感覚を離れた人に届ける

このセンサーを取り付けたスマートフォンで何かをなぞると、その感覚がデータとしてインターネット上に送られ、他の人に届けられます。例えば、猫がスマホに擦り寄ってくる感触を、SNS経由でそのまま友達に送ることができる、そんな世界がすぐそこまで来ているのです。

▲　スライド9・猫カフェからスマホにすり寄る猫の感触を発信

触感をより多くの人に届けるには、メディアの活用が効果的ですので、テレビ放送に触覚を乗せるトライアルも行っています。2018年には、Bリーグの試合に触覚を導入して実験しました。熊本で行われた試合で、体育館の床下に触覚センターを複数埋め込み、選手がドリブルしたり、走り回ったりする床の揺れを丸ごと記録して、900km離れた東京のオンラインビューイング会場に届けました。

ビューイング会場では、4K映像と立体音響に加えて、床の振動までライブで体験できます。実際にバスケットボールの試合を観戦してみるとわかるのですが、けっこう足元からドリブルの感覚や、選手が走り回るドタバタ感が伝わってきます。この足から伝わる振動が、臨場感と密接に紐付いていて、試合会場と地続きのすぐ近くの場所で見ているという感覚になれます。実際、ビューイング会場のお客様からも「すごく近くで見ている感じ」という意見が多く聞かれました。

最近は、こういった「触る／触れる」感覚を、「見る」感覚や「聞く」感覚と同様に届けることで、コミュニケーションを変えようという取り組みも行っています。具体的には、コロナ禍の前に、東京・初台のNTTインターコミュニケーション・センター博物館・美術館で展示していた「公衆触覚伝話」です。

▲　スライド10・見る・聞く・触れるを

同時に届ける「公衆触覚電話」

これは触覚も含めて伝えられる電話で、画面には相手の顔だけではなく手元も映っています。この手元の机のところが、通話先の机と繋がり「トントン」と机を叩いたり、机の上で何かを書いたりした筆記感覚も相手に伝わります。双方で同時に絵を描くような、離れた場所にいることを感じさせない共同作業を楽しむこともできます。

2020年の夏休みには、凸版印刷、フレーベル館と3者でワークショップを実施しました。これは、振動アクチュエーターを内蔵したクッションを家庭に配り、フレーベル館のスタジオで行われる絵本の読み聞かせをZoomで各家庭に配信し、絵本の世界の感覚を子供たちに、同時に届けようという取り組みです。

例えば「ぞうさんがやってきました」と読んだところでは「ドシンドシン」、「みずにとびこみました」というところでは「パシャン」という感じのストーリーに合わせた振動が各家庭に届き、離れた場所にいる子供たちが、一つの物語の世界に入り込めるようになっています。このような形で触覚を使えば、新しい遊びを作り、その遊びの中で身の回りの触った感覚を再発見することもできると考えています。

こうした「触れ合えない」人たちをオンラインでつなぐ取り組みは、コロナ禍以前から行っていました。というのも、さまざまな理由で「つながれていない」人たちがいるからです。例えば聴覚に障害がある方々は、オンラインイベントへの参加さえ困難です。しかし、耳が聞こえなくても触覚があれば、伝えられることがあるかも知れません。そこで、聴覚障害者でもタップダンスのリズムを楽しめるイベントも実施しました。

▲　スライド11・聴覚障害者でもタップダンスのリズムを楽しめる

ステージでタップダンスを踊るダンサーは、お一人は完全に耳が聞こえず、観客の約半数も聴覚障害をお持ちの方ですが、ステージで床をパタパタ踏みしめる感覚を客席の椅子に伝えることで、目で見る踊りと椅子から感じる震えの組み合わせでリズムが伝わり、ダンスの楽しさも伝わるようにしました。

また高齢者の方は、認知症になると記憶がどんどん失われていき、言葉での表現を頭の中でイメージすることが難しくなっていきます。しかし、体で覚えたことは意外と記憶に残っていて、昔飼っていた犬の感触や、お米を炊いた時のお釜のグツグツ感を再現すると、記憶が呼び起こされていろいろなことを話し始めることがあります。最近は、そういった記憶を呼び覚ますところでの触覚の有効性も考えるようになりました。

最後に、私もお手伝いしている「超人スポーツ」とのタイアップで取り組んでいる、「新しい身体感覚を皆が手に入れた未来」を紹介します。これは、人が外界の情報を感じ取る「身体感覚」をテクノロジーの力で高め、今、我々が感じ取れていない新たな感覚を手に入れることが、できるようになるというものです。視覚や聴覚に障害を抱えていても、この新たな感覚で自在な行動ができる未来が訪れます。

SENSEプロジェクトでは、人の感覚を作り変えるようなテクノロジーを開発して、感覚の拡張を実現することを目指しています。開発した「シナスタジアウェア」は、一見普通のジャケットですが、体中にさまざまな触覚を伝えることで、身の回りの状況や環境を体に皮膚感覚として伝えることができます。こうしたテクノロジーが日常に埋め込まれることにより、私たちは新しい第六感のような感覚を手に入れることができます。この新しい感覚を使えるようになれば視覚や聴覚に障害を持つ方も自由に行動できる、そういった未来を目指しています。

このように、「触覚」が人の感覚を広げる未来がこれからやって来ます。そういうところに向けて、どのように子供たちの教育や体験を作り出していけるのかが、私たちが興味を持っているところです。

＞＞　後半へ続く