templateNaiveBayes

単純ベイズ分類器テンプレート

構文

t = templateNaiveBayes()

t = templateNaiveBayes(Name,Value)

説明

t = templateNaiveBayes() は、ECOC (誤り訂正出力符号) マルチクラス モデルの学習に適した単純ベイズテンプレートを返します。

既定のテンプレートを指定する場合、学習中のすべての入力引数には既定値が使用されます。

t を fitcecoc の学習器として指定します。

t = templateNaiveBayes(Name,Value) は、1 つ以上の名前と値のペアの引数で指定された追加オプションを使用してテンプレートを返します。t ペア引数を使用して指定する場合を除き、Name,Value のすべてのプロパティは空です。

たとえば、予測子の分布を指定できます。

コマンド ウィンドウに t を表示する場合、すべてのオプションは、名前と値のペア引数を使用して指定する場合を除き、空 ([]) で表示されます。学習中、空のオプションに既定値が使用されます。

例

既定の単純ベイズ テンプレートの作成

templateNaiveBayes を使用して、既定の単純ベイズ テンプレートを指定します。

t = templateNaiveBayes()

t = 
Fit template for classification NaiveBayes.

    DistributionNames: [1×0 double]
               Kernel: []
              Support: []
                Width: []
      StandardizeData: []
              Version: 1
               Method: 'NaiveBayes'
                 Type: 'classification'

Method と Type を除き、テンプレート オブジェクトのすべてのプロパティは空です。t を学習関数に渡す場合、空のプロパティはそれぞれの既定値で入力されます。たとえば、各セルが 'normal' である 1 行 D 列の文字ベクトルの cell 配列が DistributionNames プロパティに入力されます。D は予測子の個数です。他の既定値の詳細は、fitcnbを参照してください。

t は単純ベイズ分類器の計画であるため、これを指定する場合、計算は実行されません。t をfitcecocに渡して、ECOC マルチクラス学習の単純ベイズ分類器を指定できます。

ECOC マルチクラス学習の単純ベイズ テンプレートの作成

fitcecocで使用する既定以外の単純ベイズ テンプレートを作成します。

フィッシャーのアヤメのデータ セットを読み込みます。

load fisheriris

単純ベイズバイナリ分類器のテンプレートを作成し、すべての予測子のカーネル分布を指定します。

t = templateNaiveBayes('DistributionNames','kernel')

t = 
Fit template for classification NaiveBayes.

    DistributionNames: 'kernel'
               Kernel: []
              Support: []
                Width: []
      StandardizeData: []
              Version: 1
               Method: 'NaiveBayes'
                 Type: 'classification'

DistributionNames、Method および Type を除き、テンプレート オブジェクトのすべてのプロパティは空です。t を学習関数に渡す場合、空のプロパティはそれぞれの既定値で入力されます。

t を ECOC マルチクラス モデルのバイナリ学習器として指定します。

Mdl = fitcecoc(meas,species,'Learners',t);

既定の設定では、Mdl は、1 対 1 の符号化設計を使用の学習が実行されます。

標本内 (再代入) 誤分類誤差を表示します。

L = resubLoss(Mdl,'LossFun','classiferror')

L = 
0.0333

名前と値の引数

オプションの引数のペアを Name1=Value1,...,NameN=ValueN として指定します。ここで、Name は引数名で、Value は対応する値です。名前と値の引数は他の引数の後に指定しなければなりませんが、ペアの順序は重要ではありません。

R2021a より前では、名前と値をそれぞれコンマを使って区切り、Name を引用符で囲みます。

例: 'DistributionNames','mn' は、すべての予測子を多項モデルのトークン数として処理するように指定します。

DistributionNames — データ分布

'kernel' | 'mn' | 'mvmn' | 'normal' | string 配列 | 文字ベクトルの cell 配列

データをモデル化するために fitcnb が使用するデータ分布。'DistributionNames' と次の表の値をもつ文字ベクトル、string スカラー、string 配列、または文字ベクトルの cell 配列から構成されるコンマ区切りのペアとして指定します。

値	説明
'kernel'	カーネル平滑化密度推定。
'mn'	多項分布。mn を指定するとすべての特徴量は多項分布の成分となります。したがって、'mn' を文字ベクトルの cell 配列または string 配列の要素として含めることはできません。詳細は、アルゴリズムを参照してください。
'mvmn'	多変量多項分布。詳細は、アルゴリズムを参照してください。
'normal'	正規 (ガウス) 分布。

文字ベクトルまたは string スカラーを指定した場合、その分布を使用してすべての特徴量がモデル化されます。1 行 P 列の文字ベクトルの cell 配列または string 配列を指定した場合、配列の要素 j の分布を使用して特徴量 j がモデル化されます。

既定では、カテゴリカル予測子として指定されたすべての予測子は (CategoricalPredictors 名前と値のペア引数を使用して) 'mvmn' に設定されます。それ以外の場合、既定の分布は 'normal' となります。

Kernel、Standardize、Support または Width を追加で指定するには、少なくとも 1 つの予測子が分布 'kernel' をもつように指定しなければなりません。

例: 'DistributionNames','mn'

例: 'DistributionNames',{'kernel','normal','kernel'}

Kernel — カーネル平滑化のタイプ

'normal' (既定値) | 'box' | 'epanechnikov' | 'triangle' | string 配列 | 文字ベクトルの cell 配列

カーネル平滑化のタイプ。'Kernel' と文字ベクトル、string スカラー、string 配列、または文字ベクトルの cell 配列から構成されるコンマ区切りのペアとして指定します。

次の表は、カーネル平滑化密度領域の設定に使用できるオプションの一覧です。I{u} はインジケーター関数を表すとします。

値	カーネル	式
'box'	ボックス (一様)	$$f(x)=0.5I\left\{\left|x\right|\le 1\right\}$$
'epanechnikov'	Epanechnikov	$$f(x)=0.75\left(1-x^2\right)I\left\{\left|x\right|\le 1\right\}$$
'normal'	ガウス	$$f(x)=\frac{1}{\sqrt{2\pi }}\exp \left(-0.5x^2\right)$$
'triangle'	三角形	$$f(x)=\left(1-\left|x\right|\right)I\left\{\left|x\right|\le 1\right\}$$

配列の各要素に table のいずれかの値が格納されている状態で 1 行 P 列の string 配列または cell 配列を指定する場合、X の特徴 j に対して、要素 j のカーネル平滑化タイプを使用して分類器の学習が実行されます。分布が 'kernel' である予測子に対応しない Kernel の要素は無視されます。

Kernel、Standardize、Support または Width を追加で指定するには、少なくとも 1 つの予測子が分布 'kernel' をもつように指定しなければなりません。

例: 'Kernel',{'epanechnikov','normal'}

Standardize — カーネル分布をもつ予測子を標準化するためのフラグ

false または 0 (既定値) | true または 1

R2023b 以降

カーネル分布をもつ予測子を標準化するためのフラグ。数値または logical の 0 (false) または 1 (true) として指定します。この引数は、DistributionNames 値に 1 つ以上のカーネル分布 ("kernel") が含まれる場合のみ有効です。

Standardize を true に設定すると、カーネル分布をもつ各予測子変数が対応する列の平均値と標準偏差によってセンタリングおよびスケーリングされます。カテゴリカル予測子などのカーネル分布以外をもつ予測子は標準化されません。

例: "Standardize",true

データ型: single | double | logical

Support — カーネル平滑化密度のサポート

'unbounded' (既定値) | 'positive' | string 配列 | cell 配列 | 数値行ベクトル

カーネル平滑化密度のサポート。'Support' と 'positive'、'unbounded'、string 配列、cell 配列または数値行ベクトルから構成されるコンマ区切りのペアとして指定します。カーネル平滑化密度が指定した領域に適用されます。

次の表は、カーネル平滑化密度領域の設定に使用できるオプションの一覧です。

値	説明
1 行 2 列の数値行ベクトル	たとえば、[L,U] のように指定します。L と U はそれぞれ、密度サポートの下限と上限を表します。
'positive'	密度サポートはすべて正の実数です。
'unbounded'	密度サポートはすべて実数です。

string 配列の各要素に table 内のテキスト値が、cell 配列の各要素に table 内の値が含まれている状態で 1 行 P 列の string 配列または cell 配列を指定した場合、X 内の特徴量 j に対して要素 j のカーネル サポートを使用して、分類器の学習が実行されます。分布が 'kernel' である予測子に対応しない Kernel の要素は無視されます。

Kernel、Standardize、Support または Width を追加で指定するには、少なくとも 1 つの予測子が分布 'kernel' をもつように指定しなければなりません。

例: 'Support',{[-10,20],'unbounded'}

データ型: char | string | cell | double

Width — カーネル平滑化ウィンドウの幅

数値の行列 | 数値列ベクトル | 数値行ベクトル | スカラー

カーネル平滑化ウィンドウ幅。'Width' と数値の行列、数値列ベクトル、数値行ベクトルまたはスカラーで構成される、コンマ区切りのペアとして指定します。

K 個のクラス レベルと P 個の予測子があるとします。次の表は、カーネル平滑化ウィンドウ幅の設定に使用できるオプションをまとめています。

値	説明
数値の K 行 P 列の行列	要素 (k,j) は クラス k の予測子 j の幅を指定します。
K 行 1 列の数値列ベクトル	要素 k は クラス k のすべての予測子の幅を指定します。
1 行 P 列の数値行ベクトル	要素 j は 予測子 j のすべてのクラス レベルの幅を指定します。
スカラー	すべてのクラスのすべての特徴量に帯域幅を指定します。

既定の設定では、ガウス分布に最適な値を使用して、予測子およびクラスの各組み合わせに対して既定の幅が自動的に選択されます。指定した Width に NaN が含まれる場合、NaN を含む要素に幅が選択されます。

Kernel、Standardize、Support または Width を追加で指定するには、少なくとも 1 つの予測子が分布 'kernel' をもつように指定しなければなりません。

例: 'Width',[NaN NaN]

データ型: double | struct

出力引数

t — 単純ベイズ分類テンプレート

テンプレート オブジェクト

ECOC (誤り訂正出力符号) マルチクラス モデルの学習に適した単純ベイズ分類テンプレート。テンプレート オブジェクトとして返します。t を fitcecoc に渡し、ECOC モデルの単純ベイズ分類器を作成する方法を指定します。

コマンド ウィンドウに t を表示する場合、すべての未指定のオプションは空 ([]) で表示されます。しかし、空のオプションは学習中に対応する既定値に置き換えられます。

詳細

bag-of-tokens モデル

bag-of-tokens モデルでは、予測子 j の値は観測値のトークン j の発生数を表す非負の数値です。この多項モデルのカテゴリ (ビン) の数は、異なるトークンの数 (予測子の数) です。

単純ベイズ

"単純ベイズ" は密度推定をデータに適用する分類アルゴリズムです。

アルゴリズムはベイズの定理を活用し、クラスが与えられる場合、予測子が条件付きで独立していると (単純に) 仮定します。通常、実際はこの仮定に反して、単純ベイズ分類器から得られる事後分布は、バイアス付きのクラス密度を推定する場合、特に事後分布が 0.5 (判定境界) であれば、信頼性が高い傾向があります[1]。

単純ベイズ分類器は観測を最も確率の高いクラスに割り当てます (つまり、"最大事後確率" 決定ルールです)。明示的に、アルゴリズムは以下の手順を実行します。

1. 各クラス内の予測子の密度を推定します。

2. ベイズ ルールに従って、事後確率をモデル化します。つまり、すべての k = 1,...,K について、次のようになります。

   $$\widehat{P}\left(Y=k|X_1,\mathrm{..},X_P\right)=\frac{\pi \left(Y=k\right){\displaystyle \prod _{j=1}^{P}P}\left(X_j|Y=k\right)}{{\displaystyle \sum }_{k=1}^K\pi \left(Y=k\right){\displaystyle \prod _{j=1}^{P}P}\left(X_j|Y=k\right)},$$

   ここで

   • Y は観測のクラス インデックスに対応する確率変数です。

   • X₁,...,X_P は観測の無作為な予測子です。

   • $$\pi \left(Y=k\right)$$ は、クラス インデックスが k である事前確率です。

3. 各クラスの事後確率を推定して観測値を分類し、最大の事後確率を発生するクラスに観測値を割り当てます。

予測子が多項分布を構成する場合、事後確率は $$\widehat{P}\left(Y=k|X_1,\mathrm{..},X_P\right)\propto \pi \left(Y=k\right)P_{mn}\left(X_1,\mathrm{...},X_P|Y=k\right),$$ になります。ここで、$$P_{mn}\left(X_1,\mathrm{...},X_P|Y=k\right)$$ は多項分布の確率密度関数です。

アルゴリズム

• 予測子変数 j が条件付き正規分布をもつ場合 (名前と値の引数 DistributionNames を参照)、クラス固有の加重平均、および加重標準偏差の不偏推定を計算することにより、この分布がデータに当てはめられます。各クラス k に対して以下を実行します。

  • 予測子 j の加重平均は次のようになります。

    $${\overline{x}}_{j|k}=\frac{{\displaystyle \sum _{\{i:y_i=k\}}{w}_i{x}_{ij}}}{{\displaystyle \sum _{\{i:y_i=k\}}{w}_i}},$$

    ここで w_i は観測値 i の重みです。クラス内の重みは、その合計がクラスの事前確率になるように正規化されます。

  • 予測子 j の加重標準偏差の不偏推定器は次のようになります。

    $$s_{j|k}={\left[\frac{{\displaystyle \sum _{\{i:y_i=k\}}{w}_i{\left(x_{ij}-{\overline{x}}_{j|k}\right)}^2}}{z_{1|k}-\frac{z_{2|k}}{z_{1|k}}}\right]}^{1/2},$$

    ここで z_1|k はクラス k 内の重みの合計、z_2|k はクラス k 内の重みの 2 乗の合計です。

• すべての予測子変数が条件付き多項分布 ('DistributionNames','mn' を指定) を構成する場合、bag-of-tokens モデルを使用して、この分布が当てはめられます。トークン j がプロパティ DistributionParameters{k,j} のクラス k に出現する確率が保存されます。加法平滑化[2]を使用すると、推定確率は次のようになります。

  $$P(\text{token }j|\text{class }k)=\frac{1+c_{j|k}}{P+c_k},$$

  ここで

  • $$c_{j|k}=n_k\frac{{\displaystyle \sum _{\{i:y_i=k\}}^{}{x}_{ij}}{w}_i^{}}{{\displaystyle \sum _{\{i:y_i=k\}}^{}{w}_i}},$$ はクラス k におけるトークン j の重み付き発生数です。

  • n_k はクラス k 内の観測数です。

  • $$w_i^{}$$ は観測値 i の重みです。クラス内の重みは、その合計がクラスの事前確率になるように正規化されます。

  • $$c_k={\displaystyle \sum _{j=1}^P{c}_{j|k}},$$ は、クラス k に含まれているすべてのトークンの重み付き発生数の合計です。

• 予測子変数 j が条件付き多変量多項分布を持つ場合、次のようになります。

  1. 一意のレベルのリストが収集され、並べ替えられたリストは CategoricalLevels に保存され、各レベルはビンと見なされます。予測子とクラスの各組み合わせは、個別の独立した多項確率変数です。

  2. 各クラス k に対して、CategoricalLevels{j} に保存されたリストを使用して、カテゴリカル レベルごとのインスタンスがカウントされます。

  3. クラス k の予測子 j が、プロパティ DistributionParameters{k,j} においてレベル L をもつ場合、すべてのレベルの確率は CategoricalLevels{j} に保存されます。加法平滑化[2]を使用すると、推定確率は次のようになります。

     $$P\left(\text{predictor }j=L|\text{class }k\right)=\frac{1+m_{j|k}(L)}{m_j+m_k},$$

     ここで

     • $$m_{j|k}(L)=n_k\frac{{\displaystyle \sum _{\{i:y_i=k\}}^{}I\{x_{ij}=L\}{w}_i^{}}}{{\displaystyle \sum _{\{i:y_i=k\}}^{}{w}_i^{}}},$$ は、クラス k 内の予測子 j が L に等しい観測値の重み付き個数です。

     • n_k はクラス k 内の観測数です。

     • x_ij = L の場合は $$I\left\{x_{ij}=L\right\}=1$$、それ以外の場合は 0 です。

     • $$w_i^{}$$ は観測値 i の重みです。クラス内の重みは、その合計がクラスの事前確率になるように正規化されます。

     • m_j は予測子 j の異なるレベルの数です。

     • m_k はクラス k 内の重み付けされた観測値の数です。

参照

[1] Hastie, T., R. Tibshirani, and J. Friedman. The Elements of Statistical Learning, Second Edition. NY: Springer, 2008.

[2] Manning, Christopher D., Prabhakar Raghavan, and Hinrich Schütze. Introduction to Information Retrieval, NY: Cambridge University Press, 2008.

バージョン履歴

R2014b で導入

R2023b: 単純ベイズ モデルでカーネル分布をもつ予測子の標準化をサポート

templateNaiveBayes でカーネル分布をもつ予測子の標準化がサポートされます。つまり、名前と値の引数 DistributionNames に "kernel" 分布が少なくとも 1 つ含まれている場合に、名前と値の引数 Standardize を true として指定できます。

参考

fitcecoc | ClassificationECOC | ClassificationNaiveBayes | fitcnb