このページの内容は最新ではありません。最新版の英語を参照するには、ここをクリックします。

getCritic

R2026a

強化学習エージェントからのクリティックの抽出

構文

critic = getCritic(agent)

説明

critic = getCritic(agent) は、指定された強化学習エージェントから取得したクリティック オブジェクトを返します。

例

クリティック パラメーター値の変更

既存の学習済み強化学習エージェントがあると仮定します。この例では、Compare DDPG Agent to LQR Controllerの学習済みエージェントを読み込みます。

load("DoubleIntegDDPG.mat","agent") 

エージェントからクリティックを取得します。

critic = getCritic(agent);

近似器オブジェクトでは、ドット表記を使用して Learnables プロパティにアクセスできます。

まず、パラメーターを表示します。

critic.Learnables{1}

ans = 
  1×6 single dlarray

   -5.0017   -1.5513   -0.3424   -0.1116   -0.0506   -0.0047

パラメーター値を変更します。この例では、すべてのパラメーターを単純に 2 倍します。

critic.Learnables{1} = critic.Learnables{1}*2;

新しいパラメーターを表示します。

critic.Learnables{1}

ans = 
  1×6 single dlarray

  -10.0034   -3.1026   -0.6848   -0.2232   -0.1011   -0.0094

あるいは、getLearnableParameters と setLearnableParameters を使用することもできます。

まず、学習可能なパラメーターをクリティックから取得します。

params = getLearnableParameters(critic)

params=2×1 cell array
    {[-10.0034 -3.1026 -0.6848 -0.2232 -0.1011 -0.0094]}
    {[                                               0]}

パラメーター値を変更します。この例では、すべてのパラメーターを単純に 2 で割ります。

modifiedParams = cellfun(@(x) x/2,params,"UniformOutput",false);

クリティックのパラメーター値を新しく変更した値に設定します。

critic = setLearnableParameters(critic,modifiedParams);

エージェント内のクリティックを新しく変更したクリティックに設定します。

setCritic(agent,critic);

新しいパラメーター値を表示します。

getLearnableParameters(getCritic(agent))

ans=2×1 cell array
    {[-5.0017 -1.5513 -0.3424 -0.1116 -0.0506 -0.0047]}
    {[                                              0]}

強化学習エージェントの深層ニューラル ネットワークの変更

連続行動空間をもつ環境を作成し、その観測仕様とアクション仕様を取得します。この例では、Compare DDPG Agent to LQR Controllerの例で使用されている環境を読み込みます。

事前定義された環境を読み込みます。

env = rlPredefinedEnv("DoubleIntegrator-Continuous");

観測仕様とアクション仕様を取得します。

obsInfo = getObservationInfo(env);
actInfo = getActionInfo(env);

環境の観測仕様とアクション仕様から PPO エージェントを作成します。このエージェントは、アクターとクリティックに既定の深層ニューラル ネットワークを使用します。

agent = rlPPOAgent(obsInfo,actInfo);

強化学習エージェント内の深層ニューラル ネットワークを変更するには、まずアクター関数近似器とクリティック関数近似器を抽出しなければなりません。

actor = getActor(agent);
critic = getCritic(agent);

アクター関数近似器とクリティック関数近似器の両方から深層ニューラル ネットワークを抽出します。

actorNet = getModel(actor);
criticNet = getModel(critic);

アクター ネットワークをプロットします。

plot(actorNet)

ネットワークを検証するには、analyzeNetwork を使用します。たとえば、クリティック ネットワークを検証します。

analyzeNetwork(criticNet)

アクターおよびクリティックのネットワークを変更し、エージェントに保存し直すことができます。ネットワークを変更するには、ディープ ネットワーク デザイナーアプリを使用できます。各ネットワーク用にアプリを開くには、次のコマンドを使用します。

deepNetworkDesigner(criticNet)
deepNetworkDesigner(actorNet)

ディープ ネットワーク デザイナーでネットワークを変更します。たとえば、ネットワークに他の層を追加できます。ネットワークを変更するときに、getModel によって返されるネットワークの入力層と出力層を変更しないでください。ネットワークの構築の詳細については、ディープ ネットワーク デザイナーを使用したネットワークの構築を参照してください。

変更したネットワークをディープ ネットワーク デザイナーで検証するには、[解析] セクションの [解析] をクリックしなければなりません。変更したネットワーク構造を MATLAB® ワークスペースにエクスポートするには、新しいネットワークを作成するコードを生成し、コマンド ラインからそのコードを実行します。ディープ ネットワーク デザイナーのエクスポート オプションは使用しないでください。コードを生成して実行する方法を示す例については、ディープ ネットワーク デザイナーを使用した DQN エージェントの作成およびイメージ観測値を使用した学習を参照してください。

この例では、変更したアクター ネットワークとクリティック ネットワークを作成するコードが createModifiedNetworks 補助スクリプトに含まれています。

createModifiedNetworks

変更した各ネットワークには、メインの共通パスに追加の fullyConnectedLayer と reluLayer が含まれます。変更したアクター ネットワークをプロットします。

plot(modifiedActorNet)

ネットワークをエクスポートした後、ネットワークをアクター関数近似器とクリティック関数近似器に挿入します。

actor = setModel(actor,modifiedActorNet);
critic = setModel(critic,modifiedCriticNet);

最後に、変更したアクター関数近似器とクリティック関数近似器をアクター オブジェクトとクリティック オブジェクトに挿入します。

agent = setActor(agent,actor);
agent = setCritic(agent,critic);

入力引数

agent — クリティックを含む強化学習エージェント

強化学習エージェント オブジェクト

クリティックを含む強化学習エージェント。次のオブジェクトのいずれかとして指定します。

• rlQAgent

• rlSARSAAgent

• rlDQNAgent

• rlLSPIAgent

• rlPGAgent (クリティックを使用してベースライン価値関数を推定する場合)

• rlACAgent

• rlPPOAgent

• rlTRPOAgent

• rlDDPGAgent

• rlTD3Agent

• rlSACAgent

• rlMBPOAgent

メモ

TD3 エージェントや SAC エージェントなどの複数のクリティックをもつエージェントの場合、クリティック表現ごとに getModel を個別に呼び出さなければなりません。getCritic によって返された配列に対して getModel を呼び出すことはできません。

critics = getCritic(myTD3Agent);
criticNet1 = getModel(critics(1));
criticNet2 = getModel(critics(2));

メモ

agent はハンドル オブジェクトです。ハンドル オブジェクトの詳細については、ハンドル オブジェクトの動作を参照してください。

強化学習エージェントの詳細については、強化学習エージェントを参照してください。

例: agent = rlPPOAgent(rlNumericSpec([2 1]),rlNumericSpec([1 1])) は、既定の rlPPOAgent オブジェクト agent を作成します。

出力引数

critic — クリティック

rlValueFunction オブジェクト | rlQValueFunction オブジェクト | rlVectorQValueFunction オブジェクト | rlQValueFunction オブジェクトの 2 要素の行ベクトル

クリティック オブジェクト。次のいずれかとして返されます。

• rlValueFunction オブジェクト — agent が rlACAgent、rlPGAgent、または rlPPOAgent オブジェクトの場合に返されます。

• rlQValueFunction オブジェクト — agent が、単一のクリティックをもつ rlQAgent、rlSARSAAgent、rlDQNAgent、rlDDPGAgent、または rlTD3Agent オブジェクトの場合に返されます。

• rlVectorQValueFunction オブジェクト — agent が、ベクトル Q 値関数クリティックをもつ rlQAgent、rlSARSAAgent、rlDQNAgent、またはハイブリッド行動空間をもつ rlSACAgent の場合に返されます。

• rlQValueFunction オブジェクトの 2 要素の行ベクトル — agent が連続行動空間と 2 つのクリティックをもつ rlTD3Agent オブジェクトまたは rlSACAgent オブジェクトの場合に返されます。

• rlVectorQValueFunction オブジェクトの 2 要素の行ベクトル — agent が非連続行動空間と 2 つのクリティックをもつ rlSACAgent オブジェクトの場合に返されます。

バージョン履歴

R2019a で導入

参考

関数

• getActor | setActor | setCritic | getModel | setModel | getNormalizer | setNormalizer | getLearnableParameters | setLearnableParameters

トピック

• Create Actors, Critics, and Policy Objects
• Import Neural Network Models Using ONNX