技術情報

タリン工科大学、デジタルツインとエクステンデッド リアリティの活用により制御工学の実践的でバーチャルな遠隔実験授業を強化

著者 Saleh Alsaleh and Aleksei Tepljakov, Tallinn University of Technology


制御設計は、機械、電気、流体、化学、および生物など、工学の幅広い分野において基礎的なスキルとされています。そのため、世界中の工学プログラムで、コアカリキュラムに不可欠な内容となっています。工学に関する多くのトピックと同様に、教員は長年にわたり、制御理論など工学におけるさまざまな分野で、学生が学ぶ理論的概念を実践的応用につなげられる実習や実験の必要性を認識してきました。

対面形式の実践的な実験授業は、学生の関心を高め、学生に制御の概念をより深く、より直観的に理解してもらうことができますが、その反面、デメリットもあります。まず、規模を拡大しにくいことです。たとえば、クレーン、液体を充填したタンク、またはロボットアームなど、実験授業のセットアップには、多くの場合はかなり広い作業スペースが必要です。また、これらを入手して維持するにはコストがかかります。その結果、多くの学部では、増加するクラスの人数に対応できる十分な設備を整えられず、スケジュールを組む手間が発生したり、学生を長時間待たせたりすることになっています。第二に、コロナ禍で明らかになった点ですが、対面形式の実験授業は、リモートの学生には受講不可能であることです。

タリン工科大学の私たちのチームはこうした課題に対処するために ReImagine Lab フレームワークを開発しました。このフレームワークは、MATLAB® および Simulink® を使用して構築したデジタルツインとエクステンデッド リアリティの技術を組み合わせ、実践的かつバーチャルな遠隔実験授業のセットアップの開発と運用を合理化します (図 1)。実験装置とリアルタイムで同期するデジタルツインを使った遠隔実験授業とは対照的に、バーチャルな実験授業では、実際の装置とは別に独立したデジタルツインを使用します。このため、バーチャルな実験授業は拡張性に優れ、(特に仮想環境がクラウドでホストされている場合に) 大人数の学生にも対応できます。重要なことは、仮想現実デバイスまたは拡張現実デバイスによりサポートされるエクステンデッド リアリティでは、デジタルツインを可視化して操作し、学生の関心を高めながら没入感のある体験を提供できることです (図 2)。

物理資産、データサーバー、およびデジタルツインなどのさまざまな要素がどのように連続的に接続されているかを示す ReImagine Lab フレームワークの図。

図 1. ReImagine Lab フレームワークには、物理的な実験資産、その資産のデジタルツイン、およびエクステンデッド リアリティ デバイスが含まれています。

図 2. タンクシステムの拡張現実ビューおよびそのデジタルツイン。

ReImagine Lab フレームワークの基礎

ReImagine Lab フレームワークの中核をなすのは、実際の実験資産 (たとえば、ガントリークレーンなど) のデータ駆動型数学モデルに基づいたデジタルツインです。基礎となる数学モデルを作成するには、ブラックボックス手法を使用して実験データをモデルに当てはめます。あるいは、モデルが部分的に物理法則から派生して、実験データから推定されるパラメーターを含む常微分方程式 (ODE) 系として表されるグレーボックス手法を使用することもできます (図 3)。いずれの手法でも、MATLAB および System Identification Toolbox™ を使用して、モデルを定義し、実際のシステムから収集したデータに基づき、パラメーター推定を実行します。

実際のシステム、およびそのデジタルツインを作成するブラックボックスとグレーボックスの 2 つのデータ駆動型数学的手法を示す図。

図 3. デジタルツインの作成に使用するブラックボックス手法およびグレーボックス手法。

同定された数学モデルを、Instrument Control Toolbox™ ブロックを使用して Simulink に統合し、ユーザー データグラム プロトコル (UDP) を 経由してリアルタイムデータ通信を行います。これにより、エクステンデッド リアリティ環境での可視化に使用する Unreal Engine® で資産の 3D モデルと通信できます。 (図 4)。

USB 接続を利用して Unreal Engine と HMD および モーション コントローラーのハードウェアに接続された MATLAB および Simulink 環境のレイアウト図。

図 4. MATLAB および Simulink 環境と Unreal Engine 間の UDP 通信。

授業での使用例

ReImagine Lab フレームワークがどのように機能するかを理解する上で最適な方法は、フレームワークを使用して実装可能なユースケースの例を使用することです。

この例では、学生チームにガントリークレーンに対する制御システムの開発が課されています。3D クレーンとしても知られるこの装置には、可動レール、レールに沿って移動するカート、およびカートから吊るされたペイロードがあります (図 5)。2 つのエンコーダーセンサーは、レールとカートの位置を特定するために使用され、他の 2 つのセンサーはペイロードのスイング角度の測定に使用されます。学生の目標は、ペイロードを可能な限り速く、かつ最小のスイング角度で任意の位置に移動させるコントローラーを設計することです。

ガントリークレーンの実物とその右のモデル図。一番右に、ヘッドセットを通して見える仮想表現のクレーン。

図 5. (左) ガントリークレーンの実物、(中央) クレーンの物理モデルの図、(右) 仮想現実で表現したクレーン。

実験授業の課題の前半では、各学生チームはクレーンの数学モデルを独自に作成します。チームはまず、クレーンが移動する際の測定値 (スイング角度を含む) を取得することから始めます。クレーンの実物で作業するチームもあれば、リモート環境または完全な仮想環境内で独立したデジタルツインを操作して測定するチームもあります (図 6)。この測定値に基づいて、チームは MATLAB および System Identification Toolbox を使用してクレーンのプラントモデルを作成します。学生には複雑な非線形運動モデルではなく、線形モデルを作成してもらうと同時に、学生が簡潔さと精度との間にあるトレードオフを理解できるよう支援します。

学生は、プラントモデルの作成を終えると、Simulink および Simulink Control Design™ を使用してコントローラーモデルを構築します。通常、コントローラーモデルには、比例、積分、微分 (PID) ループが 4 つあります。1 つはレール位置、1 つはカート位置、そして 2 つはスイング角度用です (図 6)。

4 つの PID ループを示すガントリークレーンの Simulink コントローラーモデル。

図 6. ガントリークレーンの Simulink コントローラーモデル。

学生は、Simulink で閉ループのシミュレーションを実行してコントローラーをテストおよび調整します。その後、仮想現実環境でシミュレーションを操作し、デジタルツインに対してそれらを検証します。リモートまたは仮想空間で作業する学生チームがクレーンの実物を利用できる場合は、クレーンのセンサーおよびアクチュエーターに接続された PC 上で、Simulink Desktop Real-Time™ を使用して Simulink コントローラーモデルをリアルタイムで実行し、実験装置上での設計のパフォーマンスを確認します。

なお、ReImagine Lab フレームワークは、仮想現実の 3D クレーンに限ったものではありません。これまでも、拡張現実および仮想現実の両方を使用して、さまざまなデジタルツインを構築してきました (図 7)。学生は、Microsoft® HoloLens ヘッドセットなどを使用して、図 2 に示すタンクのデジタルツインを操作しています。拡張現実環境では、学生は、物理システムとともに、リアルタイムで更新されるデジタルツイン、制御ループ図、グラフを見ることができます (図 8)。実際に、学生は手で仮想球体のサイズを変更することにより、その環境で直接コントローラーのゲインを調整できます (図 9)。

ビデオの長さ 1:50

図 7. 仮想現実環境におけるマルチタンクステムのデジタルツインの操作。

図 8. 拡張現実で経験するタンクシステムの制御実験。

図 9. 拡張現実環境でコントローラーゲインを動的に調整。

次のステップ

私たちのチームは、ReImagine Lab フレームワークの開発と改良を続けています。この取り組みの一環として、最近、タリン工科大学でシステム ユーザビリティ調査を行いました。調査の参加者は、標準的なデスクトップ シミュレーションよりも VR 体験を高く評価しました。「このプロジェクトに取り組んだ経験は、楽しく充実したものでした。デジタル実験授業では、他にはない利用しやすい方法で、制御システムとそれを構成するプロセスについて深い洞察を得ることができました。」とタリン大学を最近卒業した Stanislav Jersov 氏は語ります。「私たちのプロジェクトは、複合現実デジタルツインで実現できることの第一歩に過ぎないと考えていますので、教育やその他の分野における今後の可能性に期待しています。」

一方で、私たちは現在、学生からのユーザビリティに関するフィードバックにも対処しています。利用者によっては、VR 環境でのデジタルツイン操作による制御は十分に直観的ではなかったという意見もあります。このため、より没入感のある体験を生み出す方法を模索しています。たとえば、タリン大学のある学生は修士論文の一環として、利用者が VR 内でデジタル ツイン クレーンの内側を歩くことができるようそのサイズを拡大し、さらに、機械が動作すると発生する機械音を模倣した音声も追加しました。これらの追加はとても効果的で、利用者がスイングする仮想ペイロードの邪魔にならないようすばやく移動することもあったほどです。

また、さまざまな種類の室内実験も継続的に追加しています。現在、3D クレーン、タンクシステム、倒立振子、および磁気浮上システムなど 8 種類の実験を用意しています。最後に、ReImagine Lab フレームワークをより完全に工学カリキュラムに統合することに加えて、自動コード生成を使用して MATLAB および Simulink モデルを直接 VR デバイスに展開する方法についても模索しています。

著者について

Saleh Alsaleh 氏は、ヨルダンのフィラデルフィア大学でメカトロニクス工学の学士号、およびタリン工科大学でメカトロニクスの修士号を取得し、現在タリン工科大学で電力工学とメカトロニクスの博士号の取得を目指しています。

Aleksei Tepljakov 氏は、タリン工科大学で情報通信技術の博士号を取得しています。複雑なシステムの非整数次モデリングおよび制御や、教育用途および産業用途向けにエクステンデッド リアリティの数学的 3D モデリング手法開発の研究に取り組んでいます。

公開年 2023