ターゲットハードウェアでの実行

Robotics System Toolbox™ Support Package for Kinova^® Gen3 Manipulators を使用して、オンボードコンピューターに展開されたアルゴリズムによってオブジェクトを検出してピックアップする

モデルベースデザインの一部として全体的なワークフローを完了するために、Robotics System Toolbox Support Package for Kinova Gen3 Manipulators により、NVIDIA^® Jetson™ などのスタンドアロンコンピューティングボードを使用したロボットの接続と制御が可能になります。この機能により、ロボットと (MATLAB^® を使用する) 汎用ホストコンピューター間の継続的な通信リンクが不要になります。オンボードの展開により、人工知能、コンピュータービジョン、パスプランニングに関わるさまざまな自動化タスクを設計し、アルゴリズムをコンピューティングボードに展開して、効率と精度を高めることができます。コードの生成と展開には ROS Toolbox が必要です。

サポートパッケージのこの機能を使用して、イメージからオブジェクトの位置と方向を特定し、3 次元空間でのオブジェクトの位置を特定し、マニピュレーターロボットが現在の位置からオブジェクトに到達するために必要な軌跡を計算し、それに従って移動するようにマニピュレーターに命令するオブジェクト検出アルゴリズムを開発します。

トピック

Configure NVIDIA Jetson Board for Object Detection and Motion Planning
Initial configuration to deploy ROS node on NVIDIA Jetson
Object Detection and Motion Planning Application with Onboard Deployment
Choose the workflow for deploying motion planning applications to onboard computer
Detect Position and Orientation of a Rectangular Object Using OpenCV
Use OpenCV for proper object detection from vision module of robot
Joint Angle Control Versus Trajectory Control
Compare the control strategy that you need to adopt for robotic manipulators.

注目の例

Simulate a Detect and Pick Algorithm Using OpenCV Interface and Rigid Body Tree Robot Model

Simulate an end-to-end rigid body tree workflow for a KINOVA® Gen3 robot to detect a rectangular object using OpenCV Interface, and then pick and move the object with inverse kinematics.

ライブスクリプトを開く

Design and Validate Object Detection and Motion Planning Algorithms Using Gazebo, OpenCV, and MATLAB

Design and validate complex application workflows for a robotic manipulator like the Kinova Gen3 7-DoF Ultralightweight Robot using Gazebo® physics simulator, OpenCV, Robotics Systems Toolbox™ and ROS Toolbox.

ライブスクリプトを開く

Read Current Joint Angle of KINOVA Gen3 and Publish to ROS Network

Deploy robotics algorithms developed in Simulink as a standalone ROS node to NVIDIA Jetson compute boards. The example includes ROS Subscribe block to get feedback from the robot and relay the same information over a new ROS topic using ROS Publish block.

モデルを開く

Detect and Pick Object Using KINOVA Gen3 Robot Arm with Joint Angle Control and Trajectory Control

Deploy object detection and motion planning workflows developed in Simulink as a standalone ROS node to NVIDIA® Jetson™ compute boards. The KINOVA® Gen3 robot receives key vision sensor parameters, current robot state, and position and orientation of the object in the captured image using ROS network. The gathered data is further used to localize the object in world frame and the robot is commanded to reach the object and pick it.