Visual Inspection Toolbox

新製品
(左): 実装基板。(右): ディープラーニングで生成した、基板上の異常を赤色で強調表示するヒートマップ。

外観異常検出

ディープラーニングを使用して、異常の検出、分類、位置特定を行います。正常イメージで学習し、未知の欠陥の特定、しきい値の最適化、欠陥領域の可視化、評価指標の算出を行います。

キャップと液面の間にキャリパーによる測定線が引かれた、炭酸飲料のボトルの画像。

測定

距離、角度、幾何学的特徴を、校正済みのワールド単位で測定します。透視歪みやレンズ歪みを補正し、キャリパーツールを使って精密な寸法検査を行います。

YOLOX オブジェクト検出器を使用して欠陥の位置を特定し、分類したプリント基板の画像。

オブジェクトの検出と計数

外観検査アプリケーションにおけるオブジェクトの検出、位置特定、計数を行います。YOLOX ベースの検出器の構築、学習データの生成、大きな画像内の小さなオブジェクトの識別に加え、見本ベースのディープラーニング モデルによるオブジェクトの計数を行います。

NotchedPlate、FlatPlate、PlateWithHoles とラベル付けされた 3 枚の金属板。暗い背景の上に、それぞれの輪郭が青色で示されています。

形状マッチング

エッジベースの形状マッチングを使用して画像内のオブジェクトを検出し、その位置を特定します。テンプレート画像から形状モデルを作成し、検査画像の中からそのモデルに一致するオブジェクトのインスタンスを検索します。

正常イメージに挿入され、異常としてラベル付けされた合成欠陥。

合成画像の生成

外観検査アプリケーション用の合成学習データを生成します。画像にオブジェクトを挿入してラベル付きデータセットを作成し、オブジェクト検出やインスタンス セグメンテーション モデルの学習を効率化できます。 

外観検査アプリケーションやモデルから、スタンドアロン実行可能ファイル、C/C++ コード、CUDA コード、ONNX モデルが生成される過程を示した図。

展開とコード生成

生成された C/C++ または CUDA® コードを使用して、検査アルゴリズムや AI モデルをエッジデバイスに展開します。外部フレームワークで利用できるよう、モデルを ONNX 形式でエクスポートします。スタンドアロンの検査用ダッシュボードやアプリを構築します (MATLAB Compiler を使用)。 

“Good” とラベル付けされた 2 錠と、目に見える異常があり “Bad” とラベル付けされた 3 錠の、計 5 錠の錠剤。

カメラを使用したライブ検査

Image Acquisition Toolbox を使用して GigE Vision、GenICam をはじめとする業界標準規格に対応したカメラに接続すれば、生産システムで撮影されたものと同じ画像を使って外観検査アルゴリズムを開発、検証できます。

「当初はこうした手法にあまり詳しくなかったのですが、MathWorks のソフトウェア エンジニアから動作原理について多くを学ぶことができました。」

Visual Inspection Toolbox に関するよくある質問 (FAQ)

外観検査とは、製造された部品、アセンブリ、または環境を調べて欠陥の特定や寸法の確認を行い、製造、自動車、建設、航空宇宙などの分野で一般的に適用される品質基準への準拠を確保するプロセスです。

自動外観検査システムでは、高解像度のカメラと、ディープラーニングと従来のマシン ビジョン アルゴリズムの両方に対応したソフトウェア (MATLAB、Visual Inspection Toolbox、Image Acquisition Toolbox など) を使用して、人間の目では捉えにくいマイクロスケールやナノスケールの欠陥を効率的に検出します。

MATLAB は Visual Inspection Toolbox により、Student-Teacher、PatchCore、FastFlow、FCDD (完全畳み込みデータ記述) の各手法に対応しています。これらの手法は、学習速度、モデルサイズ、画像サイズの扱いにおいて、それぞれ異なる特徴を持っています。

はい。MATLAB は、異常画像が少ない場合や多様な場合に向けた教師なし異常検出手法と、学習用の異常画像が十分にある場合に向けた YOLOX などの教師ありオブジェクト検出手法の両方に対応しています。

欠陥検出プロセスには、データの準備 (画像の前処理やラベリングを含む)、従来のアルゴリズム (測定や形状マッチング) または AI モデリング (異常検出器やオブジェクト検出モデルの学習) の適用、組み込みハードウェアやスタンドアロン アプリケーションへの展開という、主に 3 つの段階があります。

MATLAB には、ノイズ除去、エッジ保存平滑化、色空間変換、コントラスト強調、モルフォロジー処理のための関数が用意されています。また、位置がずれた画像の位置合わせを行うレジストレーション推定アプリや、セマンティック セグメンテーションやオブジェクト検出用のカスタムアルゴリズムを使用してラベリングプロセスを自動化するイメージラベラーおよびビデオラベラーアプリも含まれています。

はい。MATLAB では、コード生成フレームワークを活用することで、ディープラーニング ネットワークや従来のアルゴリズムを、NVIDIA の GPU、Intel および ARM の CPU、Xilinx および Intel の SoC や FPGA など、さまざまな組み込みハードウェア プラットフォームに展開できます。また、MATLAB は AI モデルの ONNX 形式へのエクスポートにも対応しており、外部フレームワークと連携できます。

Plansee では、MATLAB を活用して AI ベースの外観異常検出システムを開発しています。このシステムは、破損した炉用キャリアを高温炉に入る前に自動で検出します。これにより、ダウンタイムの短縮、炉の損傷防止、生産の信頼性向上が図られています。武蔵精密工業では、MATLAB を活用して毎月約 130 万個の自動車用かさ歯車部品の検査を行っています。また、Airbus では、就航前に複数の航空機部品の欠陥を自動検出するための AI モデルを構築しました。