ドキュメンテーション

最新のリリースでは、このページがまだ翻訳されていません。 このページの最新版は英語でご覧になれます。

distributed

クライアント ワークスペースまたはデータ ストアのデータから分散配列を作成

構文

D = distributed(X)

説明

D = distributed(X)X から分散配列を作成します。X には、MATLAB クライアント ワークスペースまたはデータ ストアに格納されている配列を指定できます。D は分散配列であり、開いている並列プールの複数のワーカーに各部分が格納されます。

この方法でローカル データから分散配列を作成するのは、MATLAB クライアントがメモリに X 全体を格納できる場合にのみ適しています。大きな分散配列を作成する場合は、ones(___,'distributed')zeros(___,'distributed') などのコンストラクター メソッドの 1 つを使用します。

入力引数が既に分散配列になっている場合、結果は入力と同じになります。

gather を使用して分散配列の要素をプールから取得し、MATLAB ワークスペースの配列に戻します。

小さな配列を作成し、分散します。

Nsmall = 50;
D1 = distributed(magic(Nsmall));

作成メソッドを使用して、直接、大きな分散配列を作成します。

Nlarge = 1000;
D2 = rand(Nlarge,'distributed');

分散配列の要素を取得し、配列の位置を Class で確認します。

D3 = gather(D2);
whos
  Name           Size           Bytes  Class

  D1            50x50             733  distributed
  D2          1000x1000           733  distributed
  D3          1000x1000       8000000  double
  Nlarge         1x1                8  double
  Nsmall         1x1                8  double

次の例では、datastore を使用して分散配列を作成し、読み込む方法を説明します。まず、例のデータセットを使用してデータ ストアを作成します。このデータセットは小さすぎるため、ワーカー間でデータが均等に分割されません。実際のビッグ データセットをシミュレートするため、repmat を使用してデータ ストアのサイズを人為的に増加させます。

files = repmat({'airlinesmall.csv'}, 10, 1);
ds = tabularTextDatastore(files);

例の変数を選択します。

ds.SelectedVariableNames = {'DepTime','DepDelay'};
ds.TreatAsMissing = 'NA';

データ ストアを並列で読み取ることにより分散テーブルを作成します。ワーカーごとに 1 パーティションとなるように、データ ストアを分割します。これにより、各ワーカーは対応するパーティションからすべてのデータを読み取ります。ファイルは、ワーカーからアクセス可能な共有場所になければなりません。

dt = distributed(ds);
Starting parallel pool (parpool) using the 'local' profile ... connected to 4 workers.

最後に、分散テーブルに関する概要情報を表示します。

summary(dt) 
Variables:

    DepTime: 1,235,230×1 double
        Values:

            min          1
            max       2505
            NaNs    23,510

    DepDelay: 1,235,230×1 double
        Values:

            min      -1036
            max       1438
            NaNs    23,510

ヒント

  • 分散配列は既存の並列プールのワーカーで作成されます。プールがない場合、並列設定でプールの自動起動が無効になっていなければ、distributed により新しい並列プールが起動されます。並列プールがなく、distributed による並列プールの起動もできない場合、クライアント ワークスペースに完全な配列が作成されます。