fastBERTtokens: Tokenizing for BERT in parallel

This function simply divides your text into batches, and tokenizes in parallel. Provides significant speed-up.

バージョン (1.43 KB)
ダウンロード: 31 件
(0)
2023/2/24
ダウンロード

  • Install in MATLAB

    Requires R2026b and later. Learn more
ダウンロード

  • Install in MATLAB

    Requires R2026b and later. Learn more

現在この提出コンテンツをフォロー中です。

引用

Ralf Elsas (2026). fastBERTtokens: Tokenizing for BERT in parallel (https://jp.mathworks.com/matlabcentral/fileexchange/125295-fastberttokens-tokenizing-for-bert-in-parallel), MATLAB Central File Exchange. に取得済み.

謝辞

ヒントを得たファイル: Transformer Models

一般的な情報

MATLAB リリースの互換性

  • R2021a 以降のリリースと互換性あり

プラットフォームの互換性

  • Windows
  • macOS
  • Linux
新しいタブで開く
バージョン 公開済み リリース ノート
1.0.0

ダウンロード

  • Install in MATLAB

    Requires R2026b and later. Learn more