ocr
光学式文字認識を使用したテキストの認識
説明
txt = ocr(ds)ds で指定された ROI の認識結果が格納された ocrText オブジェクトの cell 配列を返します。この構文を使用して、複数のイメージに対して OCR を実行します。既定では、ocr 関数は各 ROI に 1 行のテキストのみが含まれていると想定します。複数のテキスト行を含む可能性のある ROI を処理するには、名前と値の引数 LayoutAnalysis を "block" に設定します。
txt = ocr(___,Name=Value)LayoutAnalysis="page" は、イメージをテキスト ブロックを含むページとして処理します。
例
テキストを含むイメージをワークスペースに読み込みます。
businessCard = imread("businessCard.png");
ocrResults = ocr(businessCard)ocrResults =
ocrText with properties:
Text: '4 MathWorks:↵↵ ↵↵The MathWorks, Inc.↵↵-3 Apple Hill Drive↵Natick, MA 01760-2098↵USA↵↵www.mathworks.com↵↵ ↵↵'
CharacterBoundingBoxes: [107×4 double]
CharacterConfidences: [107×1 single]
Words: {16×1 cell}
WordBoundingBoxes: [16×4 double]
WordConfidences: [16×1 single]
TextLines: {8×1 cell}
TextLineBoundingBoxes: [8×4 double]
TextLineConfidences: [8×1 single]
recognizedText = ocrResults.Text;
figure
imshow(businessCard)
text(600,150,recognizedText,BackgroundColor=[1 1 1]);
イメージをワークスペースに読み取ります。
I = imread("handicapSign.jpg");入力イメージ内のテキストを認識するための 1 つ以上の四角形の関心領域を定義します。
roi = [370 246 363 423];
あるいは、drawrectangle を使用し、マウスを使用して領域を選択することもできます。
以下に例を示します。
figure;imshow(I)
roi = round(getPosition(drawrectangle))
ROI 内のテキストを認識します。
ocrResults = ocr(I,roi);
認識されたテキストを元のイメージに挿入します。認識されたテキストが挿入されたイメージを表示します。
Iocr = insertText(I,roi(1:2),ocrResults.Text,AnchorPoint="RightTop",FontSize=16);
figure
imshow(Iocr)
7 セグメント ディスプレイを含むイメージをワークスペースに読み取ります。
I = imread("sevSegDisp.jpg");7 セグメント ディスプレイを含む ROI を指定します。
roi = [506 725 1418 626];
7 セグメント ディスプレイから数字を認識するには、引数 Model を seven-segment" として指定します。
ocrResults = ocr(I,roi,Model="seven-segment");認識された数字と検出の信頼度を表示します。
fprintf("Recognized seven-segment digits: ""%s""\nDetection confidence: %0.4f",cell2mat(ocrResults.Words),ocrResults.WordConfidences)Recognized seven-segment digits: "5405.9" Detection confidence: 0.7948
認識された数字をイメージに挿入します。
Iocr = insertObjectAnnotation(I,"rectangle", ... ocrResults.WordBoundingBoxes,ocrResults.Words,LineWidth=5,FontSize=72); figure imshow(Iocr)
テキストを含むイメージをワークスペースに読み取ります。
businessCard = imread("businessCard.png");
ocrResults = ocr(businessCard)ocrResults =
ocrText with properties:
Text: '4 MathWorks:↵↵ ↵↵The MathWorks, Inc.↵↵-3 Apple Hill Drive↵Natick, MA 01760-2098↵USA↵↵www.mathworks.com↵↵ ↵↵'
CharacterBoundingBoxes: [107×4 double]
CharacterConfidences: [107×1 single]
Words: {16×1 cell}
WordBoundingBoxes: [16×4 double]
WordConfidences: [16×1 single]
TextLines: {8×1 cell}
TextLineBoundingBoxes: [8×4 double]
TextLineConfidences: [8×1 single]
Iocr = insertObjectAnnotation(businessCard,"rectangle", ... ocrResults.WordBoundingBoxes, ... ocrResults.WordConfidences); figure imshow(Iocr)
テキストを含むイメージをワークスペースに読み込みます。
businessCard = imread("businessCard.png"); ocrResults = ocr(businessCard); bboxes = locateText(ocrResults,"Math",IgnoreCase=true); Iocr = insertShape(businessCard,"FilledRectangle",bboxes); figure imshow(Iocr)
この例では、データセット上の 7 セグメントの数字を認識可能な OCR モデルの精度を評価する方法を示します。評価データセットには、7 セグメントの数字が含まれるエネルギー メーターの表示イメージが格納されています。
データセットをダウンロードし、解凍します。
datasetURL = "https://ssd.mathworks.com/supportfiles/vision/data/7SegmentImages.zip"; datasetZip = "7SegmentImages.zip"; if ~exist(datasetZip,"file") disp("Downloading evaluation dataset (" + datasetZip + " - 96 MB) ..."); websave(datasetZip,datasetURL); end datasetFiles = unzip(datasetZip);
評価のグラウンド トゥルースを読み込みます。
ld = load("7SegmentGtruth.mat");
gTruth = ld.gTruth;groundTruth オブジェクトから、関数 ocrTrainingData とラベル付けの際に使用されるラベル名および属性名を使用して、イメージ、境界ボックス、およびテキスト ラベルを含むデータストアを作成します。
labelName = "Text"; attributeName = "Digits"; [imds,boxds,txtds] = ocrTrainingData(gTruth,labelName,attributeName);
データストアを統合します。
cds = combine(imds,boxds,txtds);
評価データセットに対して OCR を実行します。
results = ocr(cds, Model="seven-segment");グラウンド トゥルースに対して OCR の結果を評価します。
metrics = evaluateOCR(results,cds);
Evaluating ocr results
----------------------
* Selected metrics: character error rate, word error rate.
* Processed 119 images.
* Finalizing... Done.
* Data set metrics:
CharacterErrorRate WordErrorRate
__________________ _____________
0.082195 0.19958
OCR モデルの精度を表示します。
modelAccuracy = 100*(1-metrics.DataSetMetrics.CharacterErrorRate); disp("Accuracy of the OCR model= " + modelAccuracy + "%")
Accuracy of the OCR model= 91.7805%
入力引数
名前と値の引数
オプションの引数のペアを Name1=Value1,...,NameN=ValueN として指定します。ここで、Name は引数名で、Value は対応する値です。名前と値の引数は他の引数の後に指定しなければなりませんが、ペアの順序は重要ではありません。
例: txt = ocr(I,LayoutAnalysis="page") は、イメージ内のテキストを、テキスト ブロックを含むページとして処理します。
R2021a より前では、コンマを使用して名前と値をそれぞれ区切り、Name を引用符で囲みます。
テキスト セグメンテーションのために実行するレイアウト解析のタイプ。次のオプションのいずれかとして指定します。
| LayoutAnalysis の値 | テキストの処理 |
|---|---|
"auto" | 引数 |
"page" | イメージ内のテキストを、テキスト ブロックを含むページとして処理します。 |
"block" | イメージ内のテキストを 1 つのテキスト ブロックとして処理します。 |
"line" | イメージ内のテキストを 1 行のテキストとして処理します。 |
"word" | イメージ内のテキストをシングル ワードのテキストとして処理します。 |
"character" | イメージ内のテキストを 1 つの文字として処理します。 |
"none" | レイアウト解析を実行しません。1 行のテキストを含むイメージに最適です。 |
引数 LayoutAnalysis を使用して、入力イメージ内のテキストのレイアウトを決定できます。たとえば、LayoutAnalysis を "page" に設定して、2 段組みなどの特定の形式を含むスキャンされたドキュメントからテキストを認識できます。この設定によって、返されるテキストの読み取り順序が維持されます。
入力イメージに含まれるテキストの領域が少ない、または要素の多いシーンにテキストがある場合、関数 ocr が低品質の結果を返す可能性があります。OCR で良い結果が得られない場合、イメージのテキストに適した別のレイアウトを試します。要素の多いシーンにテキストがある場合には、別のレイアウトを試すほかに、イメージのテキストの周りを ROI として指定してみてください。
認識に使用するモデル。次のオプションのいずれかとして指定します。
"english"、"japanese"、"seven-segment"— これらは、それぞれ英語テキスト、日本語テキスト、または 7 セグメントの数字を検出するための組み込みモデルを指定します。文字ベクトルまたは string スカラー — このオプションを使用して、カスタム モデル、または OCR Language Data Files サポート パッケージに含まれる追加の言語モデルの 1 つを指定します。
文字ベクトルの cell 配列または string 配列 — このオプションを使用して、同時に検出に使用する複数のモデルを指定します。
組み込みモデル (任意の追加のインストール済み言語モデルを含む) を使用してパフォーマンスを高速化するには、言語モデルの string に -fast を追加します。たとえば、"english-fast"、"japanese-fast"、または "seven-segment-fast" のようにします。
追加のモデルをインストールしたり、カスタム モデルを追加したりすることもできます。詳細については、OCR Language Data Files のインストールを参照してください。
複数の言語を指定すると、選択したすべての言語の同時認識が可能になります。ただし、複数の言語を選択すると、関数 ocr の精度が低下し、処理時間が長くなる可能性があります。OCR Language Data Files のインストールにあるパッケージに含まれる追加言語を指定するには、組み込み言語と同じ方法で指定します。パスを指定する必要はありません。たとえば、フィンランド語のテキスト認識を指定するには、次のようにします。
txt = ocr(img,Model="finnish");
trainOCR 出力に独自のカスタム モデルを使用するには、次の構文を使用します。
ocrResults = ocr(I,Model=ocrModel);
ocrModel にはモデルの絶対パスを格納します。MATLAB® Coder™ によって生成された展開先の場合: 生成された OCR 実行可能ファイルと言語モデル ファイル フォルダーが同一場所に存在しなければなりません。
英語の場合:
C:/path/to/eng.traineddata日本語の場合:
C:/path/to/jpn.traineddata7 セグメントの場合:
C:/path/to/seven_segment.traineddataカスタム データ ファイルの場合:
C:/path/to/customlang.traineddataC:/path/ocr_app.exe
英語、日本語、および 7 セグメントの学習済みデータ ファイルを次のフォルダーからコピーできます。
fullfile(matlabroot,"toolbox","vision","visionutilities","tessdata_best");
文字のサブセット。文字ベクトルまたは string スカラーとして指定します。既定では、CharacterSet は空の文字ベクトル "" に設定されます。これは、名前と値の引数 Model で指定された言語モデル内のすべての文字を検索する関数を指定します。この値を少数の既知の文字に設定することで、分類プロセスを制限できます。
関数 ocr は、CharacterSet から検出されたテキストに最もよく一致するものを選択します。入力イメージ内の文字に関する推測から得られる知識を使用すると、テキスト認識の精度の向上に役立ちます。たとえば、CharacterSet をすべての数字 "0123456789" に設定すると、関数はそれぞれの文字を数字のみに対してマッチングさせようとします。この場合、関数 ocr は数字以外の文字を誤って数字として認識する可能性があります。
Model を seven-segment として指定した場合、関数 ocr は CharacterSet の値 "0123456789.:-" を使用します。
出力引数
ヒント
光学式文字認識 (OCR) 言語データ ファイルは、Tesseract OCR エンジン用の事前学習済み言語モデルを提供し、さまざまな言語での正確かつ効率的なテキスト抽出を可能にします。これらのファイルは Computer Vision Toolbox™ との統合を前提として設計されており、複数の言語にわたって高度な OCR 機能を活用できます。これらの言語データ ファイルのインストール、サードパーティ言語サポートの有効化、および ocr 関数で事前学習済みモデルを使用して多言語テキスト認識を行うための段階ごとのガイドについては、OCR Language Data Files のインストールを参照してください。OCR ワークフローの概要と基本的な使用方法については、Getting Started with OCRを参照してください。
OCR の結果が期待どおりでない場合は、以下のオプションを 1 つ以上試してみてください。
イメージ サイズを 2 ～ 4 倍に拡大します。
イメージ内の文字の間隔が狭すぎたり、文字のエッジが隣の文字に接している場合、モルフォロジーを使用して文字を細くします。モルフォロジーで文字を細くすると、文字間にスペースを作成するのに役立ちます。
2 値化を用いて、ライティングが一様でないために問題が発生していないかをチェックします。
graythresh関数とimbinarize関数を使用してイメージを 2 値化します。2 値化の結果で文字が見えない場合、ライティング条件が一様でない可能性があります。imtophat関数を使用してトップ ハット フィルター処理を適用するか、一様でない明るさを取り除くその他の手法を試してみます。roi引数を使用してテキストを分離します。roiを手動で指定することも、テキスト検出を使用することもできます。イメージがスキャンしたドキュメントではなく、路上などの言葉を含む自然なシーンの場合、
LayoutAnalysis引数を"Block"か"Word"に設定してみます。イメージの背景が淡色でテキストが濃色であることを確認します。これを実現するには、関数
ocrに渡す前にイメージを 2 値化して反転します。
参照
[1] Smith, Ray. An Overview of the Tesseract OCR Engine. In Ninth International Conference on Document Analysis and Recognition (ICDAR 2007), 629–33. IEEE, 2007. https://doi.org/10.1109/ICDAR.2007.4376991."
[2] Smith, R., D. Antonova, and D. Lee. Adapting the Tesseract Open Source OCR Engine for Multilingual OCR. Proceedings of the International Workshop on Multilingual OCR, (2009).
[3] R. Smith. Hybrid Page Layout Analysis via Tab-Stop Detection. Proceedings of the 10th international conference on document analysis and recognition. 2009.
