Text Analytics Toolbox

テキストデータの解析とモデル化

Text Analytics Toolbox™ には、テキストデータの前処理、解析およびモデル化を行うアルゴリズムと可視化手法が備わっています。このツールボックスを使用して作成されたモデルは、センチメント分析、予知保全およびトピックのモデル化などのアプリケーションに使用できます。

Text Analytics Toolbox には、機器のログ、ニュースフィード、アンケート、オペレーターのレポートおよびソーシャルメディアなどのソースの生テキストを処理するツールが備わっています。一般的なファイル形式からテキストを抽出し、生テキストを前処理し、個々の単語を抽出して、テキストを数値表現に変換してから統計モデルを作成できます。

LSA、LDA および単語埋め込みなどの機械学習の手法を使用して、クラスターを検索して高次元のテキストデータセットの特徴量を作成できます。Text Analytics Toolbox を使用して作成された特徴量を別のデータソースの特徴量と組み合わせて、テキスト、数値およびその他のタイプのデータを使用する機械学習モデルを作成できます。

新機能
ドキュメンテーションとリソース
製品評価版の入手または製品の購入

無料のホワイトペーパー

MATLAB でのテキスト解析入門

ホワイトペーパーをダウンロード

テキストデータのインポートと可視化

ソーシャルメディア、ニュースフィード、機器のログ、レポートおよびアンケートなどのソースからテキストデータを抽出します。

テキストデータの抽出

PDF、HTML、Microsoft^® Word^® および Excel^® ファイルを含む単一のファイルまたは大規模なファイルの集合からテキストデータを MATLAB^® にインポートします。

ファイルのテキストデータの抽出

HTML の解析とテキストコンテンツの抽出

絵文字を含むテキストデータの解析

Microsoft Word 文書の集合らテキストを抽出

テキストの可視化

ワードクラウドおよびテキスト散布図を使用してテキストデータセットを視覚的に探索します。

ワードクラウドを使用したテキストデータの可視化

テキスト散布図を使用した単語埋め込みの可視化

フォントサイズおよび色を使用する単語の相対頻度を示すテキスト散布図

言語サポート

Text Analytics Toolbox には、英語と日本語の言語固有の前処理機能が備わっています。ほとんどの機能は、別の言語のテキストでも機能します。

言語サポート

日本語テキストデータの解析

テキストの言語の検出

日本語テキストデータのインポート、準備、解析

テキストデータの前処理

有意な単語を生テキストから抽出します。

テキストデータのクリーニング

高水準のフィルター処理関数を適用して URL、HTML タグおよび句読点などの不要なコンテンツを削除します。

解析のためのテキストデータの準備

テキストおよび文書からの句読点の消去

テキストからの HTTP および HTTPS URL の消去

生テキスト (左) を簡略化して最も有意な単語 (右) を処理

ストップワードのフィルター処理と単語の原形への正規化

一般的な単語、非常に頻繁に出現する単語、ほとんど出現しない単語、および非常に長いか非常に短い単語をフィルター処理により除外することで、有意なテキストデータに解析における優先順位を設定します。ボキャブラリを語幹化して原形にするか、レンマ化して辞書の形式にすることで削減して、文書の幅広い意味またはセンチメントに注目します。

ストップワードの文書からの削除

単語の語幹化またはレンマ化