”FOREST” ロボットがダンスを通じて人間との信頼関係を築く
ジェスチャーと音によって機械を感情を持つ人間のように見せる
暗い部屋の中、台座に置かれた 12 体の白い腕のような形のロボットが並んでいます。1 組の人間のダンサーが中央に立つ 1 体に近づきました。ダンサーとロボットは、不安げに互いを見つめます。やがて、ロボットが回転し始め、それに合わせるようにダンサーも踊りながらぐるぐると回ります。演奏が始まりました。他のロボットにも命が吹き込まれたようです。さらに多くのダンサーたちが這いながら、ロボットに近づいてきました。人と機械がドラム、ギター、ホルンのリズムに合わせて動きます。ゆっくりとしたピアノのメロディーに変わりました。1 人のダンサーがロボットと絡み合うように、また、別のロボットを抱擁するように踊ります。音楽のテンポが速くなり、MC も登場して歌とラップを披露し始めました。総勢 17 名のダンサー (人間のダンサーは 5 人のみ) が、MC の周りで踊ります。
これは、単なる前衛的なパフォーマンスではありません。ジョージア工科大学の音楽技術センターが、アメリカ国立科学財団 (NSF) から授与された助成金で実現した研究の成果です。人間とロボットが、それぞれの良さを活かしています。人間は創造的で順応性がある一方、ロボットは一貫性があり正確です。理想の世界では、人間とロボットが家庭や職場、学校で協力し合います。これを現実のものとするには、人と機械のパートナーの間に、信頼が成り立つことが必要です。さらに、このような信頼は、人間の世界では特定の社会的合図に基づいているため、ロボットもそうした合図を出す必要があります。
ジョージア工科大学の音楽技術センターと、ケネソー州立大学のダンス学部による共同作業のプロジェクト、“FOREST” のパフォーマンス。(動画著作権: Georgia Tech)
音楽技術センターの創設ディレクターである Gil Weinberg 氏は、それらの合図を長年研究してきました。このプロジェクトで研究成果を社会に広く伝えるため、彼は、あるアイデアを NSF に提案しました。「多くの人に知ってもらうのに最も良い方法は、ミュージシャンの生演奏と、ダンサーによるジェスチャーを取り入れたパフォーマンスを披露することなのではないかと考えたのです」と彼は語ります。
Weinberg 氏のグループの大学院生、Amit Rogel 氏も次のように述べます。「一般的に、人々はロボットに対してさまざまな恐れの感情を抱いています。殺人ロボットや邪悪な AI が登場する映画も多くあります。そのため、芸術的な作品の中で、ロボットとの関わりを肯定的に表現する私たちの取り組みを広めることがとても重要なのです。」
ロボットとダンスの革命
上で紹介したビデオは、以前、Weinberg 氏のグループが行った過去の研究を基にしたものです。この研究では、人間とロボットの間の信頼感を向上させるため、ロボット用に感情的な音を生成するシステムが開発されました。システムのデータセットを作成するために、ミュージシャンに一連の感情を声や楽器で表現してもらい、その後、脳の神経回路から発想を得たニューラルネットワークの技術を用いて学習させて、感情ごとの音声の例を新たに生成しました。人とロボットが協力して物を容器に詰めるようなタスクを行う際、やり取りの際にロボットが感情を表現するような音を発すると、監視担当者のロボットに対する信頼感が高まることがわかりました。次に行った論理的手順は、ロボットに、ジェスチャーを通じて感情を伝える、ということを学習させることでした。
「私がスーツを着て、誰かに話しかけると、ロボットが微妙に動きます。たとえば、私が何か重要なことを言うと、ロボットは、うなずくように頭を上下に揺らします。これは驚くべきことであり、クールという言葉がぴったりです」
人間の姿勢やジェスチャーを、手を持たないロボットの動きに変換するのは簡単なことではありません。Amit 氏は心理学の研究から、人間がどのような動きによって自己表現するのかを調べました。「たとえば、人は幸せなとき、頭を上に向け、腕を上げ、体を上下に繰り返し動かします」と彼は語ります。Weinberg 氏のグループは、7 つの関節において 7 つの自由度を持つ Franka Emika Panda と呼ばれるロボットを用いました。「頭を上げる動作は、6 つ目の関節が x 度になります。高い姿勢は、4 つ目の関節が y 度になることを示し、上下の動きは、このようになります」と彼は自分の身体を上下させながら説明しました。ある調査で、人は意図した感情を簡単に解読できることが分かりました。また、参加者からは、このような動きをするロボットに対して、好感度や知性において高い評価が得られました。
ジョージア工科大学音楽技術センターのロボットとパフォーマンスを披露するケネソー州立大学のダンサー。(画像著作権: Gioconda Barral-Secchi)
この素晴らしいビデオの他に、グループは 6 つの異なる作品で構成される学生のパフォーマンスも収録しました。ダンサーは、Panda に似た UFACTORY 社の xArm 12 機と共演しました。ある作品では、ロボットは音楽に合わせ、事前にプログラムされた動きを実行しました。別の作品では、関節を操作する人やカメラの前で動く人に反応しました。また、人の脳波も用いたりしました。さらに別の作品では、ダンサーのモーションキャプチャ (mocap) スーツからのデータを使用して、即興のパフォーマンスを披露しました。また、周りのロボットの動きに基づいて反応する、というルールに従った動きも見せました。
Rogel 氏は mocap スーツを着用してロボットとの交流を楽しんでいます。「mocap スーツは、自分でも気が付かないような非常に小さな動きも感知します」と彼は語ります。「私がスーツを着て、誰かに話しかけると、ロボットが微妙に動きます。たとえば、私が何か重要なことを言うと、ロボットは、うなずくように頭を上下に揺らします。これは驚くべきことであり、クールという言葉がぴったりです。」
スムーズな動きの実現
Rogel 氏は、MATLAB® でロボットの動きに関するルールをプログラミングしました。コードは、mocap、カメラ、EEG、音楽、人間からの合図、および他のロボットの動きといった、あらゆる要素の組み合わせに対し、ロボットがどのように反応すべきかを指示するものです。Rogel 氏は、ブロックで制御機能を表す Simulink® を使用して、さまざまな要素の相互作用を制御しています。ブロックを開いて見ることで、その機能を調べることができます。彼は次のように述べます。「私は機械エンジニアです。方程式を見るのが好きで、ソフトウェアのコードではなく、数学に注目してしまいます。MATLAB では、あらゆるツールボックスをすぐに利用できるため、この作業をすべて簡単に完了させることができます」
彼は Simulink を使用して、ロボットの動きを 2 通りの方法で可視化しています。1 つは、さまざまな点の加速度をグラフにして表示するものです。もう 1 つの方法では、各ロボットをアニメーション化された棒線画として表示します。「ロボットを破損させることなく、さまざまなパラメーターをテストして、その反応を確認できます」と彼は語ります。「また、内容によっては、ロボットを用いてテストする前に反応を調べることも可能です。反復的なプロセスに適した、使いやすいツールです」
mocap スーツからの生データは乱雑です。このソフトウェアの最も便利な機能は、チームがロボットの動きを新たに生成できるよう、運動曲線を方程式に変換できるところです。通常は、5 乗する変数を含む 5 次の多項式を作成します。そうすることで、二階微分により位置を速度に変換し、その後加速度に変換する場合でも、3 次の多項式なので滑らかな曲線を得られます。こうしないと、モーターの動作が安定せず、ハードウェアにダメージを与えたり、動きが不自然になる可能性があります。
また、一連の動作 (フォロースルー) を考えることも重要です。人が身体の一部を動かすと、他の部分も動く傾向があります。たとえば、手を振ると、それに合わせて肩も動きます。「流動的で優雅なダンスを実現するために、ロボットでこれをモデル化したいと考えていました」と Rogel 氏は語ります。チームは、曲線のピーク、つまり加速度の最大値を表す 1 点を特定し、それから別の点の曲線を一定の時間でオフセットするように変更できるツールを使用しています。
ケネソー州立大学の近隣で活動する振付師の Ivan Pulinkala 氏は、MC とともにビデオの振り付けを担当した人物で、Rogel 氏のことを気にかけ、アドバイスもしました。彼は、人間の背骨のうねりを表現しようとしてみたり、ロボットが呼吸をしているように見せることを提案したりしました。「刺激的だったのは、振り付けに対する私自身のアプローチだけでなく、ダンサー (ケネソー州立大学のダンサーたちも) の動きに対するアプローチも完全に変わったことです」と Pulinkala 氏は語ります。
ビデオの 1 つのセクションを制作する場合、まずロボットに即興で演技させた後、さまざまな角度から撮影できるように、同じ即興の演技を繰り返し行わせました。この制作作業において、Rogel 氏は MATLAB で、1 人のダンサーのパフォーマンスをニューラル ネットワークで学習させ、そのダンサーのスタイルを採り入れたロボットの動きを新たに生成しました。
「最大の課題の 1 つは、ロボットの動きを人間のように滑らかで流れるようなものにすることでした」と Weinberg 氏は語ります。「これらのロボットは、ダンス向けに設計されていないため、難しいだろうと思っていたからです。Amit はそれらに奇跡をもたらしました。学期末の学生のビデオを見てみてください。ロボットが人間と一緒にリズムを楽しんでいるのがよく分かります。そうでなければ、私たちはロボットを不気味に感じ、異様な世界に入り込んだ気分になっていたことでしょう」
「最大の課題の 1 つは、ロボットの動きを人間のように滑らかで流れるようなものにすることでした。これらのロボットは、ダンス向けに設計されていないため、難しいだろうと思っていたからです。Amit はそれらに奇跡をもたらしました。ロボットが人間と一緒にリズムを楽しんでいる様子をご覧ください。」
ジョージア工科大学音楽技術センター大学院生 Amit Rogel 氏 (前方、右) と、一緒に作業する他の “FOREST” の研究者、Mohammad Jafar 氏、Michael Verma 氏、Rose Sun 氏 (左から右) 。(画像著作権: Allison Carter, Georgia Tech)
共生
「ケネソー州立大学のダンサーがロボットに対して愛着を持ったのは、嬉しい驚きでした」と Weinberg 氏は語ります。「まったく異なる世界から来たともいえる存在なので、これはとても大胆な試みだったといえます。ワークショップをする前は、ダンサーはロボットを機械的なツールとしてしか認識していなかったでしょう」
「ロボットの周りで踊るのではなく、実際に彼らと踊っています。本当に、ロボットが私たちと一緒に踊っているように感じました」
ダンサーの 1 人、Christina Massad 氏は、アトランタの NPR 局に対して、彼女の考え方の変化を次のように語りました。「ロボットの周りで踊るのではなく、実際に彼らと踊っています。本当に、ロボットが私たちと一緒に踊っているように感じました」
Rogel 氏は、MATLAB を使用して、ロボットの関節の接触感度を調節しました。「ダンサーには、ロボットに近づき、触れて、つながりを深めてもらいたいと考えていました」と彼は語ります。「ダンサー達は、最初のうち、ロボットの周りで気恥ずかしさや不安な様子を見せていました。しかし、ロボットがダンサーたちに近づいて来たときに、人間がロボットにぶつかってしまったことがあり、ダンサーは人間とロボット両方の安全を気遣いながら、ロボットを人間のように感じるようになったのです。」
ダンサーがロボットに近づき、つながりを深める。(画像著作権: Georgia Tech)
このような接触とは無関係に、ロボットは時折故障することがありました。「ダンサーたちはむしろそれを喜んでいました」と Rogel 氏は言います。「なぜなら、ロボットも疲れを感じているととらえ、より人間らしさを感じたからです。」チームはまた、ロボットをより生き生きと見せるために、ロボットに目や名前を付けたり、生い立ちを設定したりしていました。
チームは、さらなる実験を計画しています。ロボットのジェスチャーに対する人々の信頼について、さらに研究を深めたいと考えています。また、感情の伝播、つまり、人が自分の感情に対し機械にどのような反応を期待しているかということや、期待する反応がひとそれぞれ異なるように、人の個性が果たす役割についても注目しています。彼らの洞察をより広く伝えるために、“FOREST” ツアーの実施を計画しています。Pulinkala 氏は、より長いパフォーマンスにしたいと考えています。
人間とコンピューターの相互作用を研究するものは多くありますが、“FOREST” が他の研究と一線を画すのは、複数のロボットを一つのまとまりとして扱っている点です。Weinberg 氏は、これには技術的な課題と社会的な課題の両面があると言います。「森として見てみようという発想です。森の生物の多様性に着想を得て、遊び、踊り、互いに影響を与え合う、ロボットと人間の多様な在り方を表現しようと思ったのです。また、音楽にも多様性を取り入れ、中東音楽、エレクトロニック ダンス、ヒップホップ、クラシック、レゲエ、および南インド音楽など、さまざまなジャンルを組み合わせました」
このプロジェクトを支えた人間たちもまた、多様性に溢れていました。「チームは、学生、教員およびアドミニストレーター、ミュージシャン、エンジニア、ダンサー、振付師で構成されていました。また、性別、人種、国籍、経歴もさまざまでした。このようにして、私たちはユニークなものを作り上げることができたのです。そして、全員にとって学びの場となりました。」Weinberg 氏は、音楽技術センターが背負う大きなミッションについて説明を続けます。「私は多様性を信じる者ですが、これはジョージア工科大学のような技術系の大学では実現するのが困難な場合があります。」たとえば、ジョージア工科大学にはダンス課程はありません。「コンピューター科学が得意なダンサーもいるかもしれませんが、両方に対する情熱を組み合わせる方法は見つかりません」と彼は語ります。「しかし、私たちのようなプロジェクトがあれば、両方の世界の良いところを組み合わせることができるのです。」
