MATLAB で自然言語処理や解析を行う機能はありますか？

MATLAB で自然言語処理や解析を行う方法があるか、また関連する機能を教えてください。

Answer 1

[MathWorks Support Team]

テキストデータの前処理を行う機能は、MATLAB で提供されています。例えば、R2016b で導入された string 機能は文字列の前処理を直感的に行うことが可能です。

・例: Introducing String Arrays (英語) 

https://blogs.mathworks.com/loren/2016/09/15/introducing-string-arrays/ 

さらに、R2017b から提供されている Text Analytics Toolbox には、データの読み込みから前処理、機械学習までのテキストデータに特化した機能が含まれています。例えば、PDF や Word ドキュメントからテキストデータを読み込み、テキストデータを扱いやすいように数値フォーマットに変換し、トピックモデルや次元削減を行うようなアルゴリズムなどを適用することができます。

また、テキストデータを可視化する関数も含まれています。

R2018b から Text Analytics Toolbox で英語だけではなく日本語のサポートをしています。

以下は日本語特有の前処理を行った上でトピックモデリングを行う例です。

・Analyze Japanese Text Data

https://jp.mathworks.com/help/textanalytics/ug/analyze-japanese-text.html

具体的な機能に関しては、以下の製品ページをご覧ください。

・Text Analytics Toolbox: 製品紹介

https://jp.mathworks.com/products/text-analytics.html

解析の部分では、 Statistics and Machine Learning Toolbox や Neural Network Toolbox の機械学習の機能と組み合わせて文書分類、文章生成を行うことも可能です。

例えば、ディープラーニングの LSTM (Long Short-Term Memory) ネットワークと単語の埋め込み (word embeddings)を使用してテキストの間の依存関係を学習する例が提供されています。

・Classify Text Data Using Deep Learning

https://jp.mathworks.com/help/textanalytics/ug/classify-text-data-using-deep-learning.html

 

【参考情報】

・MathWorks Japan の YouTube チャンネル

テキストマイニングに関する動画を多く公開しています。より具体的な操作方法をご紹介しています。

https://www.youtube.com/playlist?list=PLPQVx3HzGQWIeESO1svF3KfMLXb72Y6uZ