refit
分類用の近傍成分分析 (NCA) モデルの再当てはめ
説明
mdlrefit = refit(mdl,Name=Value)mdl を再度当てはめます。
例
関数 generateCheckerBoardData.m を使用してチェッカーボード データを生成します。
rng(2016,"twister"); % For reproducibility pps = 1375; [X,y] = generateCheckerBoardData(pps); X = X + 2;
データをプロットする。
plot(X(y==1,1),X(y==1,2),"x") hold on plot(X(y==-1,1),X(y==-1,2),"x") hold off
[n,p] = size(X)
n = 22000
p = 2
無関係な予測子をデータに追加します。
Q = 98; Xrnd = unifrnd(0,4,n,Q); Xobs = [X,Xrnd];
このコードにより、すべてが 0 と 4 の間で均等に分散している 98 個の追加予測子が作成されます。
データを学習セットとテスト セットに分割します。層化区分を作成し、各分割が似たクラス比率を持つようにするため、分割基準として length(y) ではなく y を使用します。
cvp = cvpartition(y,"Holdout",2000);cvpartition は、テスト セットに追加する 2000 個の観測値を無作為に選択します。残りのデータは学習セットに追加されます。cvpartition オブジェクト cvp に格納されている割り当てを使用して、学習セットと検証セットを作成します。
Xtrain = Xobs(cvp.training(1),:); ytrain = y(cvp.training(1),:); Xval = Xobs(cvp.test(1),:); yval = y(cvp.test(1),:);
特徴選択を行わない場合の誤分類誤差を計算します。
nca = fscnca(Xtrain,ytrain,FitMethod="none",Standardize=true, ... Solver="lbfgs"); loss_nofs = loss(nca,Xval,yval)
loss_nofs = 0.5165
FitMethod="none" オプションでは、既定の重み (すべてが 1) が使用されます。つまり、すべての特徴量が同じ重要度になります。
次に、分類用の近傍成分分析を使用して、 で特徴選択を実行します。
w0 = rand(100,1); n = length(ytrain)
n = 20000
lambda = 1/n; nca = refit(nca,InitialFeatureWeights=w0,FitMethod="exact", ... Lambda=lambda,Solver="sgd");
目的関数の値と反復回数をプロットします。
plot(nca.FitInfo.Iteration,nca.FitInfo.Objective,"o") hold on plot(nca.FitInfo.Iteration,movmean(nca.FitInfo.Objective,10),".-") hold off xlabel("Iteration number") ylabel("Objective value")
特徴選択を行った場合の誤分類誤差を計算します。
loss_withfs = loss(nca,Xval,yval)
loss_withfs = 0.0115
選択された特徴量をプロットします。
semilogx(nca.FeatureWeights,"o") xlabel("Feature index") ylabel("Feature weight") grid on
特徴量の重みおよび相対的なしきい値を使用して、特徴量を選択します。
tol = 0.15; selidx = find(nca.FeatureWeights > tol*max(1,max(nca.FeatureWeights)))
selidx = 2×1
1
2
特徴選択により結果が改善され、fscnca は 2 つの正しい特徴量が関連することを判別します。
入力引数
名前と値の引数
出力引数
バージョン履歴
R2016b で導入
