ディープラーニングベースのモーションキャプチャシステムによる野生のチーター研究への貢献

ロボット研究を通じてチーターの驚くべき機動性を理解する


野生のチーター母親と3頭の子が、南アフリカとボツワナにまたがる広大なカラハリ国境公園内でスプリングボックを狩っています。ネコ科動物は獲物を素早く仕留めますが、その敏捷性と素早い加速が決定的な強みとなります。安全な距離から、ケープタウン大学の生体力学の教授とAfrican Robotics Unit(ARU)ディレクターであるアミール・パテル氏が、彼の研究室のモーションキャプチャシステムを現場で学習させています。

パテル氏とARUの彼のチームは、より優れた機敏なロボットを作るためにチーターがどのように動くかを研究しています。「チーターは機動性の頂点に立っています」とパテル氏は言います。「それを理解することで、動きや力を測定したり最適化を実行したりする新しい方法を考案する必要が出てきます。」

最も速い陸上動物に焦点を当てることで、数多くの進歩がもたらされました。研究者らは、ロボット工学、マルチボディモデリング、フィードバック制御、軌道最適化、コンピュータービジョン、ディープラーニングの分野で新しい技術を開発しました。

チーターは非常に敏捷で、急加速したり、一瞬で方向転換したりすることができます。(動画著作権: ケープタウン大学、African Robotics Unit)

パテル氏はMATLAB®およびSimulink ®を何年もの間使用していましたが、Campus-Wide Licenseより、彼と大学の他の研究者はプラットフォームを最大限に活用できるようになります。 

「私たちは研究する問題に基づいてツールを選択します」とパテル氏は語りました。「site-wide license を取得したとき、これですべてを使用できると思いました。」

チームはまた、 MATLABとSimulinkがPython®などの他のプログラミング言語やSpeedgoat®などのハードウェアとのシームレスな相互運用性を提供していることを知りました。

パテル氏はマッケンジー・マティス博士およびアレクサンダー・マティス博士と協力し、非侵襲的な動物行動追跡のためのオープンソースツールボックス(DeepLabCut™)を野生で走るチーターを追跡する作業に適用しました。この研究はNature Protocolsの表紙を飾りました。

その後、パテル氏はディープラーニングベースのモーションキャプチャシステム「WildPose」で機械知覚部門のGoogle Research Scholar Awardを受賞しました。MathWorksもこの研究室の研究に支援を提供しました。パテル氏の研究は2件の特許を生み出し、大学のスピンオフを立ち上げ、ロボット工学者、スポーツ科学者、臨床医、生物学者、生態学者、自然保護管理者から大きな関心を集めました。 

予想外のしっぽの追い風

野生のチーターは時速120キロ(75マイル)で疾走することが記録されており、短距離を走る陸上動物としては最速の動物となっています。大型ネコ科動物は急速に加速し、獲物を楽々と追いかけることができますが、これは長い脚と首、小さな頭、そしていつでも使える爪を考えれば驚くようなことではありません。

世界中のチーターのうち約18%が南アフリカに生息しています。エンジニアであるアミール・パテル氏は、早くから地元の動物に魅了されていました。ケープタウン大学で博士課程を始めたとき、彼はチーターのデータを活用して完全なロボットを開発することを計画していました。

「車に乗っていて、腕を窓から出しているところを想像してください。その力を感じます。チーターは高速旋回時にこの空気抵抗を利用して体を安定させていることを突き止めました。」

「チーターがしっぽや柔軟な背骨をどのように使っているか、またチーターがどのように動くかを説明するモデルなどに関する情報はありませんでした」と彼は思い出しました。

パテル氏は、長くて毛むくじゃらのしっぽに注目しました。当時、しっぽのデータは他の動物に基づいていました。科学者たちはその重さと慣性については確信が持てませんでした。野生生物の専門家の間では、しっぽは重く、慣性力が高く、カウンターウェイトのような働きをするというのが一般的な考えでした。

その後、博士課程の共同研究者の一人であるプレトリア国立動物園のエミリー・レーン教授が、自然死したチーターが死亡した時の検死を観察するよう依頼しました。パテル氏は処置中に写真を撮り、測定を行いました。

「しっぽは大きいだろうと予想していました」と彼は言いました。「しかし、それは痩せていて、チーター全体の体重のわずか2%ほどでした。」

毛皮の空気力学的効果をよりよく理解するために、パテル氏はレーン氏から提供された死んだチーターから採取したしっぽを風洞内に置きました。彼はモデリングにMATLABとSimulink を使用しました。

「車に乗っていて、腕を窓から出しているところを想像してください。その力を感じるのです」と彼は言いました。「チーターは高速旋回中に体を安定させるためにこの空気抵抗を利用していることが判明しました。」

チーターのしっぽの写真と、チーターのしっぽのピッチ、ロール、ヨーに対する空気力学の影響を示すグラフ。

毛皮の空気力学的効果を理解するために、チーターのしっぽが風洞内に置かれました。(画像著作権: アミール・パテル)

ロボット工学者は自然からインスピレーションを得ることが多いですが、パテル氏はロボット工学のバックグラウンドを生かして金色の目をした動物に新たな光を当て、ロボット工学にヒントを得た生物学を研究することにしました。

バイオインスピレーションを得てピストンズに

ARU では、4 人の主任研究者の 1 人であるパテル氏が、学生とともにさまざまな角度からチーターについて研究しています。具体的には、機械システムの数学モデルの作成、動物の行動の感知と測定、複雑な動きの機械モデルとして機能するロボットの構築などです。チーターは速度が変化するため、その移動を研究するのは、動物の一貫した動きを研究するよりも難しいです。

彼と他のARUエンジニアたちは、「全力疾走」を意味するコサ語に由来する「Baleka」と名付けられた二足歩行ロボットを製作しました。彼らの設計では軌道最適化技術を活用し、その結果、ロボットは人間よりも高い垂直方向の敏捷性を達成しました。

2023年の国際ロボット工学・オートメーション会議(ICRA)で、パテル氏と彼の学生クリストファー・メイラー氏は、新しい四足ロボットのプロトタイプ「Kemba」の設計と制御について発表しました。ズールー族の「inkemba」、つまり剣にちなんで名付けられたこのハイブリッド空気圧・電気プロトタイププラットフォームは、脚の長さの約2.2倍の高さまでジャンプすることができます。

「ビデオを見ると、チーターは足を細かくコントロールしようとしているのではなく、ただ全力で蹴り出そうとしているだけだと分かりました」とパテル氏は語りました。「空気圧ピストンも同様の方法で力を加えます。」

パテル氏は、自分と学生はフィードバック制御のバックグラウンドを共有しているため、ブロック線図や信号が 1 つのシステムから次のシステムに移動する様子を考えるのは自然なことだと振り返りました。

ビデオの長さ 0:28

二足歩行ロボット「Baleka」のジャンプテスト。(動画著作権: ケープタウン大学、African Robotics Unit)

膝に空気圧アクチュエータ、腰に電動モーターを備えた Kemba ロボット。

脚付きロボット「Kemba」。(画像著作権: ケープタウン大学、African Robotics Unit)

ロボット工学者は通常、空気圧ピストンは正確に制御するのが難しいため使用を避けますが、ARU チームはその効果を活用しました。彼らはSimscape Multibody™ とSimulinkを利用して、Kemba の膝の空気圧ピストンをモデル化し、4 本足ロボットの予想される動きをシミュレートし、そのコントローラーを設計しました。

パテル氏は、自分と学生はフィードバック制御のバックグラウンドを共有しているため、ブロック線図や信号が 1 つのシステムから次のシステムに移動する様子を考えるのは自然なことだと振り返りました。チームは、マルチボディモデリング用の機械 CAD ソフトウェアで Kemba を設計し、その設計をSimscape™に移植しました。

モデルベース設計により、パテル氏と学生たちは加速度信号をリアルタイムで確認することができ、特にデバッグには非常に便利だと彼は言います。このブロック線図環境により、チームの開発時間が短縮され、迅速なテストと実験、システムの最適化、コードの自動化が可能になりました。

「Simulink Real-Time™ はゲームチェンジャーです。昔は手作業でコーディングしていたのですが、いつも何かがおかしくなっていました」と彼は言いました。「現在、 Simulink Real-Timeと簡単に統合できる Speedgoat リアルタイム制御システムを導入しています。ボタンをクリックするだけで、ロボットが実行されます。そのおかげで開発は順調かつ迅速に進みました。」

ICRAでは、科学者たちはKembaが加速と跳躍の潜在能力を持っていることを実証しました。剛脊椎ロボットは 1 メートル (3.28 フィート) の高さまでジャンプできます。

接触順序はチーターにとってもロボットにとっても同様に重要です。ロボットのグリッパーやハンドの場合でも、理想的な接触順序は、物体の移動や操作に大きな違いをもたらす可能性があります。2018年にカーネギーメロン大学で長期休暇を取っていたとき、パテル氏はより正確なコンタクト最適化アルゴリズムのアイデアを思いつきました。

ビデオの長さ 0:25

Kembaは静止状態から弾むような歩き方へと加速します。(動画著作権: ケープタウン大学、African Robotics Unit)

彼と話した数人の科学者はこう答えました。「いいえ、それはできません。2年前にいくつかのグループがそれを試しましたが、うまくいきませんでした。」彼はとにかく先に進みました。その結果生まれた論文「直交コロケーションを使用した接触暗黙の軌道最適化」は、IEEE Robotics and Automation Lettersで発表され、彼の最も引用された出版物の1つとなり、2020年のIEEEロボット工学モデルベース最適化技術委員会の最優秀論文賞の次点となりました。

「地理的に隔離されていることには利点があります」とパテル氏は語りました。「私はちょっと弱者意識を持っています。」

長距離モーションキャプチャシステム

多くの脅威に直面しているチーターは絶滅の危機に瀕しています。信じられないほどのスピードにもかかわらず、彼らは獲物を捕らえるために腐肉食動物と競争する臆病な捕食動物です。気候変動、生息地の喪失、密猟者、人間との衝突により、野生の個体数は激減しました。

この研究室はMathWorksと高度な協力関係を築きました。ARU の研究者からのフィードバックはすでにComputer Vision ToolboxとLidar Toolboxの新しい機能を生み出し、製品に組み込まれています。

「個体数を増やすために、繁殖と保護プログラムが強く求められています」とパテル氏は語りました。African Robotics Unit は3つのチーターセンター(チーターアウトリーチチーター保護&研究センター、 そしてアシア)と、チーターが人間に慣れている地域で協力しました。

人間の動きを理解するための既存の生体力学技術は、野生動物に直接適用することはできません。これは、チーターの動きを測定する方法を再考することを意味しました。「首輪を買ってチーターに付ければいいだけだと思っていました」と彼は認めました。「しかし、動物が首輪を着けている場合、その頭、足、背骨、しっぽに関する情報は得られません。」

ARU の科学者が飼育されているチーター向けに開発した、センサー融合を可能にする後方向きの GPS ベースのカメラ システムは、大型ネコ科動物がそれを装着するのをやめるまではうまく機能していました。もう一つのハードルは、センターのチーターは時速65キロ(時速40マイル)で、野生のチーターが時速144キロ(時速89マイル)に達するのに比べて遅いことです。

「研究室では、人や動物に電極を取り付けて、筋肉が活性化するタイミングを測定できますが、野生の動物に実際に触れることはできません」とパテル氏は言いました。「それから私は、野生動物の全身、骨格の運動学を遠くから測定できるという突飛なアイデアを思いついたのです。」

ARU は国立公園と協力し、野生に研究所を持ち込み、全速力で走るチーターからより代表的なデータを収集することを目指しています。しかし、電極やウェアラブル機器なしできめ細かいモーションキャプチャを実現することは、大きな課題を伴います。カラハリ国境公園では、チーターがなかなか姿を見せてくれず、一瞬姿を現してもすぐに砂丘の向こうに消えてしまうこともあります。

ビデオの長さ 0:37

走るチーターのマーカーレス(非侵襲的)3D 再構築。チーターの複数のビューが 2D でラベル付けされ、その後、完全軌道推定 (FTE) アルゴリズムによって融合され、3D の骨格の動きが生成されます。(動画著作権: ケープタウン大学、African Robotics Unit)

その後、パテル氏と ARU チームは、LIDAR と望遠レンズを使用した長距離モーション キャプチャ システムを開発し、マルチセンサー融合を利用することで、長距離での 3D 生体力学的データを生成することができました。

MATLABツールボックスは、チーターの動きを分析してモデル化するために不可欠でした。(画像著作権: ケープタウン大学、African Robotics Unit)

MATLABツールボックスは、チームがセンサー フュージョンのために LiDAR とカメラの情報を組み合わせる 3D 再構築などのプロジェクト コンポーネントに不可欠なものになりました。Control System Toolbox™ は、獲物の動きとチーター体のさまざまな部分またはチーター体全体の動きとの間の入出力関係を明らかにするのに役立ちました。

「私たちはキャリブレーションにComputer Vision Toolbox を頻繁に使用しています」と パテル氏は述べています。「 MathWorks Research Summit では、誰もがカメラのキャリブレーションが最高だと絶賛していました。」彼は毎年恒例のサミットのためにマサチューセッツ州ネイティックを訪れ、そこでMathWorks の共同創設者である Cleve Moler 氏と会話し、基調講演を行いました。

この研究室はMathWorksと高度な協力関係を築きました。ARU の研究者からのフィードバックはすでにComputer Vision Toolbox™とLidar Toolbox™の新しい機能にインスピレーションを与え、製品に組み込まれています。

ARU はチーター以外にも、キリン、ライオン、スプリングボックなど、動いている動物たちも撮影しました。チームはシステムを検証した後、それを世界にリリースしたいと考えています。

パテル氏はオックスフォード大学の客員教授として長期休暇を取っている間、自然の中での動物のバイタルサイン測定の改善に注力しました。一部の病気は家畜から野生動物に感染し、非常に急速に広がるため、特に資源の乏しい地域では、生態学者が手遅れになるまで気付かないことが多々あります。よりスマートでアクセスしやすい遠隔監視により、早期警告システムが実現する可能性があります。

こうした遠隔システムは人間の健康にも役立つ可能性があり、臨床医は皮膚を準備したり高価な電極を貼り付けたりすることなく、患者の筋肉の活動などを測定できるようになります。パテル氏は、このシステムが脊髄損傷のリハビリテーションや義肢の装着に利用される可能性があると考えています。

スポーツ科学者たちは、ARU の特許取得済みのウェアラブル モーション キャプチャ システムに興味を示しました。研究所が開発した、広い面積をカバーする手頃な価格の 3D フォースプレート システムに関する別の特許により、現在発展中の新しい大学スピンオフ企業が誕生しました。次に、研究室のグループはKembaに活動的な脊椎を与えることに取り組んでいます。

飼育されているチーターと野生のチーターの 3D 移動データを活用して、逆最適制御と強化学習による神経力学的な洞察とロボット制御を獲得する方法を示したチャート。

パテル博士と彼のチームは、チーターの動きについてさらに理解を深めるために、逆最適制御と強化学習を調査しています。(画像著作権: アミール・パテル)

パテル氏のグループは、逆強化学習と最適制御の研究にも着手しています。「動きは観察できますが、チーターがなぜそのような行動をとるのかはまだ分かりません」と彼は語りました。「チーターは走るときにエネルギーを節約しようとしているのでしょうか、機動性を高めようとしているのでしょうか、それとも最短時間で獲物を捕まえようとしているのでしょうか?」逆強化学習は、何を最適化しようとしているのかを理解するのに役立ちます。」

チーターは彼を魅了し続けています。

「博士課程の間、私はこの動物を理解したいと思う人間になろうと考え方を変えました」と彼は語りました。「13年以上経ちましたが、私が振り返ることはありませんでした」


その他の事例を読む

パネルナビゲーション

ロボティクス

9 人の大学生が卒業プロジェクトでジャンピングロボットを製作

小型で機敏な "Ascento" が階段を上り、障害物を回避

パネルナビゲーション

ロボット工学

海面下500メートルの世界最大の生態系を探る

ナショナルジオグラフィックが深海探査用の水中ロボットカメラを開発

パネルナビゲーション

アカデミア

高速カメラおよび風洞を使用した蝶の飛行の復号化

蝶が羽ばたく理由を流体力学で解明