bertTokenizer

WordPiece BERT トークナイザー

R2023b 以降

説明

Bidirectional Encoder Representations from Transformer (BERT) ニューラル ネットワークの WordPiece トークナイザーは、テキスト データを整数のシーケンスにマッピングします。

作成

構文

tokenizer = bertTokenizer(vocabulary)

tokenizer = bertTokenizer(vocabulary,PropertyName=Value)

説明

tokenizer = bertTokenizer(vocabulary) は、指定されたボキャブラリ用の bertTokenizer オブジェクトを作成します。

tokenizer = bertTokenizer(vocabulary,PropertyName=Value) は、1 つ以上の名前と値の引数を使用して追加のプロパティを設定します。

入力引数

vocabulary — トークナイザー ボキャブラリ

string 配列 | 文字ベクトルの cell 配列

トークナイザー ボキャブラリ。string 配列または文字ベクトルの cell 配列として指定します。

ボキャブラリには、PaddingToken、StartToken、UnknownToken、および SeparatorToken の各プロパティの値が含まれていなければなりません。

ボキャブラリには重複する項目を含めてはなりません。

データ型: string | cell

プロパティ

IgnoreCase — 大文字小文字の区別を無視するフラグ

true または 1 (既定値) | false または 0

大文字小文字の区別を無視するフラグ。1 (true) または 0 (false) として指定します。

bertTokenizer オブジェクトを作成する場合、このプロパティを設定するには、対応する名前と値の引数を使用します。bertTokenizer オブジェクトの作成後、このプロパティは読み取り専用になります。

StripAccents — アクセントを取り除くフラグ

true または (1) (既定値) | false または (0)

アクセントを取り除くフラグ。1 (true) または 0 (false) として指定します。

bertTokenizer オブジェクトを作成する場合、このプロパティを設定するには、対応する名前と値の引数を使用します。bertTokenizer オブジェクトの作成後、このプロパティは読み取り専用になります。

ContextSize — コンテキスト サイズ

512 (既定値) | 正の整数

コンテキスト サイズ。正の整数として指定します。

コンテキスト サイズとは、トークナイザーがトークンを分割およびマージする際に処理する単語またはサブワードの数です。コンテキスト サイズを大きくすると、モデルはより多くの周辺トークンを考慮できるようになり、長距離の依存関係を捉えるのに役立ちます。しかしその一方で、計算量とメモリの要件も増加します。

bertTokenizer オブジェクトを作成する場合、このプロパティを設定するには、対応する名前と値の引数を使用します。bertTokenizer オブジェクトの作成後、このプロパティは読み取り専用になります。

データ型: single | double | int8 | int16 | int32 | int64 | uint8 | uint16 | uint32 | uint64

PaddingToken — パディング トークン

"[PAD]" (既定値) | string スカラー

パディング トークン。string スカラーとして指定します。

bertTokenizer オブジェクトを作成する場合、このプロパティを設定するには、対応する名前と値の引数を使用します。bertTokenizer オブジェクトの作成後、このプロパティは読み取り専用になります。

データ型: char | string

PaddingCode — パディング コード

読み取り専用: 正の整数

この プロパティ は読み取り専用です。

パディング コード。正の整数として指定します。

データ型: double

StartToken — 開始トークン

"[CLS]" (既定値) | string スカラー

開始トークン。string スカラーとして指定します。

bertTokenizer オブジェクトを作成する場合、このプロパティを設定するには、対応する名前と値の引数を使用します。bertTokenizer オブジェクトの作成後、このプロパティは読み取り専用になります。

データ型: char | string

StartCode — 開始コード

読み取り専用: 正の整数

この プロパティ は読み取り専用です。

開始コード。正の整数として指定します。

データ型: double

UnknownToken — 不明トークン

"[UNK]" (既定値) | string スカラー

不明トークン。string スカラーとして指定します。

bertTokenizer オブジェクトを作成する場合、このプロパティを設定するには、対応する名前と値の引数を使用します。bertTokenizer オブジェクトの作成後、このプロパティは読み取り専用になります。

データ型: char | string

UnknownCode — 不明コード

読み取り専用: 正の整数

この プロパティ は読み取り専用です。

不明コード。正の整数として指定します。

データ型: double

SeparatorToken — セパレーター トークン

"[SEP]" (既定値) | string スカラー

セパレーター トークン。string スカラーとして指定します。

bertTokenizer オブジェクトを作成する場合、このプロパティを設定するには、対応する名前と値の引数を使用します。bertTokenizer オブジェクトの作成後、このプロパティは読み取り専用になります。

データ型: char | string

SeparatorCode — セパレーター コード

読み取り専用: 正の整数

この プロパティ は読み取り専用です。

セパレーター コード。正の整数として指定します。

データ型: double

NumTokens — ボキャブラリ サイズ

読み取り専用: 正の整数

R2026a 以降

この プロパティ は読み取り専用です。

ボキャブラリ サイズ。トークナイザーのボキャブラリに含まれるトークン数を表す正の整数として指定します。

たとえば、wordEmbeddingLayer オブジェクトを作成するときに、ボキャブラリ サイズを使用して単語数を指定できます。

データ型: double

オブジェクト関数

encode	Tokenize and encode text for transformer neural network
decode	Convert token codes to tokens
encodeTokens	Convert tokens to token codes
subwordTokenize	Tokenize text into subwords using BERT tokenizer
wordTokenize	Tokenize text into words using tokenizer

例

BERT トークナイザーの作成

"math"、"science"、および "engineering" という単語をボキャブラリとしてもつ BERT トークナイザーを作成します。パディング トークン、開始トークン、不明トークン、およびセパレーター トークンとして使用するトークンを含めます。

vocabulary = ["math" "science" "engineering" "[PAD]" "[CLS]" "[UNK]" "[SEP]"];
tokenizer = bertTokenizer(vocabulary)

tokenizer = 
  bertTokenizer with properties:

        IgnoreCase: 1
      StripAccents: 1
      PaddingToken: "[PAD]"
       PaddingCode: 4
        StartToken: "[CLS]"
         StartCode: 5
      UnknownToken: "[UNK]"
       UnknownCode: 6
    SeparatorToken: "[SEP]"
     SeparatorCode: 7
       ContextSize: 512
         NumTokens: 7

アルゴリズム

WordPiece トークン化

WordPiece トークン化アルゴリズム[2]は、単語をサブワード単位に分割し、共通の文字シーケンスとサブワードを単一の整数にマッピングします。トークン化の過程で、アルゴリズムは out-of-vocabulary (OOV) の単語を対応するサブワードに置き換えることで、モデルが未知の単語をより効果的に処理できるようにします。このプロセスにより、一般的な単語とまれな単語をより適切に表現できるサブワード トークンのセットが作成されます。

WordPiece トークナイザーを作成する手順は以下のとおりです。

1. ボキャブラリの初期化 — データ内の一意の文字からなる初期ボキャブラリを作成します。

2. トークン頻度のカウント — 学習データを反復処理し、ボキャブラリ内の各トークンの出現頻度をカウントします。

3. 最頻出ペアのマージ — ボキャブラリの中で最も頻繁に出現するトークンのペアを特定し、それらを単一のトークンにマージします。ボキャブラリを適宜更新します。

4. カウントとマージの繰り返し — ボキャブラリが事前に定義されたサイズに達するか、トークンがマージできなくなるまで、カウントおよびマージの手順を繰り返します。

WordPiece トークナイザーが新しいテキストをトークン化する手順は以下のとおりです。

1. テキストの分割 — テキストを個々の単語に分割します。

2. OOV 単語の特定 — 事前学習済みのボキャブラリに存在しない OOV 単語を特定します。

3. OOV 単語の置換 — ボキャブラリをもとに、OOV 単語を対応するサブワードに置き換えます。たとえば、OOV トークンの先頭がボキャブラリ トークンと一致するかどうかを反復的にチェックするといった方法があります。

参照

[1] Devlin, Jacob, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. "BERT: Pre-Training of Deep Bidirectional Transformers for Language Understanding" Preprint, submitted May 24, 2019. https://doi.org/10.48550/arXiv.1810.04805.

[2] Wu, Yonghui, Mike Schuster, Zhifeng Chen, Quoc V. Le, Mohammad Norouzi, Wolfgang Macherey, Maxim Krikun et al. "Google's Neural Machine Translation System: Bridging the Gap Between Human and Machine Translation." Preprint, submitted October 8, 2016. https://doi.org/10.48550/arXiv.1609.08144

バージョン履歴

R2023b で導入

R2026a: NumTokens プロパティを使用したボキャブラリ サイズへのアクセス

R2026a 以降、新しい NumTokens プロパティを使用して、bertTokenizer オブジェクトのボキャブラリ サイズにアクセスできるようになりました。

たとえば、wordEmbeddingLayer オブジェクトを作成するときに、ボキャブラリ サイズを使用して単語数を指定できます。

参考

bpeTokenizer | bert | bertDocumentClassifier | encode | decode | encodeTokens | subwordTokenize | wordTokenize

トピック

• BERT 文書分類器の学習
• 深層学習を使用したテキスト データの分類
• 分類用の単純なテキスト モデルの作成
• トピック モデルを使用したテキスト データの解析
• マルチワード フレーズを使用したテキスト データの解析
• 深層学習を使用したシーケンスの分類 (Deep Learning Toolbox)
• MATLAB による深層学習 (Deep Learning Toolbox)