回帰学習器におけるモデルの性能評価

最新のリリースでは、このページがまだ翻訳されていません。このページの最新版は英語でご覧になれます。

回帰学習器で回帰モデルに学習をさせた後で、モデルの統計量に基づくモデルの比較、応答プロットまたは予測応答と実際の応答のプロットによる結果の可視化、残差プロットによるモデルの評価を行うことができます。

k 分割交差検証を使用した場合、k 個の検証分割内の観測値を使用してモデルの統計量が計算され、平均値が報告されます。検証分割内の観測値に対する予測が行われ、これらの予測がプロットに示されます。検証分割内の観測値に対する残差も計算されます。
メモ
既定の設定のままでデータをアプリにインポートすると、自動的に交差検証が使用されます。詳細については、検定方式の選択を参照してください。
ホールドアウト検証を使用した場合、検証分割内の観測値を使用して精度のスコアが計算され、これらの観測値に対して予測が行われます。これらの予測はプロットで使用され、予測に基づいて残差の計算も行われます。
検証方式を使用しないよう選択した場合、スコアはすべての学習データに基づく再代入の精度、予測は再代入予測です。

[履歴] の一覧における性能のチェック

回帰学習器でモデルに学習をさせた後で、[履歴] の一覧をチェックして、どのモデルの総合スコアが最良かを調べます。最高のスコアはボックスで強調表示されます。このスコアは検定セットの平方根平均二乗誤差 (RMSE) です。新しいデータに対する学習済みモデルの性能をスコアによって推定できます。このスコアは、最適なモデルの選択に役立ちます。

交差検証の場合、スコアはすべての観測値に対する RMSE であり、ホールドアウトされた分割に含まれていた各観測値が対象になります。
ホールドアウト検証の場合、スコアはホールドアウトされた観測値に対する RMSE です。
検定なしの場合、スコアはすべての学習データに対する再代入 RMSE です。

総合スコアが最高でも、目標に最適なモデルではないことがあります。総合スコアがわずかに低いモデルが目標に最適なモデルである場合もあります。過適合を回避するため、データ収集が高価または困難である予測子のいくつかを除外することが考えられます。

[現在のモデル] ウィンドウにおけるモデルの統計量の表示

モデルの統計量を [現在のモデル] ウィンドウに表示し、これらの統計量を使用してモデルの評価と比較を行うことができます。統計量は検定セットに対して計算されます。

モデルの統計量

統計	説明	ヒント
RMSE	平方根平均二乗誤差。RMSE は常に正であり、単位は応答の単位に一致します。	値が小さい RMSE を探します。
決定係数	決定係数。決定係数は常に 1 より小さく、通常は 0 より大きくなります。学習済みモデルを、応答が一定で学習応答の平均に等しいモデルと比較します。この定数モデルよりモデルが劣っている場合、決定係数は負になります。	1 に近い決定係数を探します。
MSE	平均二乗誤差。MSE は RMSE の 2 乗です。	値が小さい MSE を探します。
MAE	平均絶対誤差。MAE は常に正であり、RMSE に似ていますが、外れ値の影響は少なくなります。	値が小さい MAE を探します。

応答プロットにおけるデータと結果の確認

応答プロットで回帰モデルの結果を確認します。回帰モデルに学習をさせた後で、予測された応答とレコード番号が応答プロットに表示されます。ホールドアウト検定または交差検証を使用している場合、これらの予測はホールドアウトされた観測値に対する予測です。つまり、各予測は、対応する観測値を使用せずに学習をさせたモデルを使用して得られます。結果を調べるには、右にあるコントロールを使用します。次が可能です。

予測された応答および/または真の応答をプロットします。[プロット] のチェックボックスを使用して選択を行います。
[誤差] チェックボックスを選択すると、予測された応答と真の応答の間の垂直線として予測誤差が表示されます。
x 軸にプロットする変数を [X 軸] で選択します。レコード番号またはいずれかの予測子変数を選択できます。
[スタイル] で応答をマーカーまたは箱ひげ図としてプロットします。[箱ひげ図] を選択できるのは、x 軸の変数に一意な値がほとんど含まれていない場合だけです。
箱ひげ図には、応答の代表的な値と外れ値の可能性がある値が表示されます。中央の印は中央値を、ボックスの上下の端はそれぞれ 25 番目と 75 番目の百分位数を示します。垂直線はひげと呼ばれ、ボックスから、外れ値とは見なされない最も極端なデータ点まで伸びます。外れ値は '+' 記号を使用して個別にプロットされます。箱ひげ図についての詳細は、boxplot を参照してください。

アプリで作成した応答プロットを Figure にエクスポートする方法については、回帰学習器アプリのプロットのエクスポートを参照してください。

予測された応答と実際の応答のプロット

予測と実際のプロットを使用してモデルの性能をチェックします。このプロットを使用して、異なる応答値について回帰モデルがどの程度適切に予測を行うかを調べます。モデルに学習をさせた後で予測と実際のプロットを表示するには、[回帰学習器] タブの [プロット] セクションで [予測と実際のプロット] をクリックします。

プロットを開くと、モデルの予測された応答が実際の真の応答に対してプロットされます。完璧な回帰モデルでは、予測された応答が真の応答と等しくなるので、すべての点が対角線上に配置されます。この線から点までの垂直距離は、その点についての予測誤差です。優れたモデルは誤差が小さいので、予測は対角線の近くに配置されます。

通常、優れたモデルでは点が対角線の近くでほぼ対称的に配置されます。プロットに明確なパターンがある場合、モデルを改善できる可能性があります。異なるモデルタイプに学習をさせるか、[モデルタイプ] セクションの [詳細設定] オプションを使用して現在のモデルタイプをより柔軟にします。モデルを改善できない場合は、さらにデータが必要であるか、重要な予測子が欠けている可能性があります。

アプリで作成した予測と実際のプロットを Figure にエクスポートする方法については、回帰学習器アプリのプロットのエクスポートを参照してください。

残差プロットの使用によるモデルの評価

残差プロットを使用してモデルの性能をチェックします。モデルに学習をさせた後で残差プロットを表示するには、[回帰学習器] タブの [プロット] セクションで [残差プロット] をクリックします。残差プロットには、予測された応答と真の応答の差が表示されます。x 軸にプロットする変数を [X 軸] で選択します。真の応答、予測された応答、レコード番号、またはいずれかの予測子を選択します。