matlab.compiler.mlspark.RDD クラス
R2026b名前空間: matlab.compiler.mlspark
スーパークラス:
(削除予定) Spark の耐障害性分散データセット (RDD) を表すインターフェイス クラス
matlab.compiler.mlspark.RDD は将来のリリースで削除される予定です。代替となる機能はありません。詳細については、バージョン履歴を参照してください。
説明
構築
RDD オブジェクトは、SparkContext クラスのメソッドを使用してのみ作成できます。わかりやすいように、RDD の作成に使用される SparkContext メソッドのコレクションを以下に示します。詳細については、SparkContext クラスのドキュメンテーションを参照してください。
| SparkContext のメソッド名 | 目的 |
|---|---|
parallelize | ローカルの MATLAB® 値から RDD を作成 |
datastoreToRDD | MATLAB |
textFile | テキスト ファイルから RDD を作成 |
SparkContext クラスのメソッドを使用して RDD を作成した後、RDD クラスの任意のメソッドを使用して RDD を操作できます。
プロパティ
このクラスのプロパティは非表示です。
メソッド
変換
| aggregateByKey | (削除予定) 特定の結合関数とニュートラルな "ゼロ値" を使用して、各キーの値を集計 |
| cartesian | (削除予定) 2 つの RDD のデカルト積である RDD の作成 |
| coalesce | (削除予定) RDD 内のパーティション数の削減 |
| cogroup | (削除予定) 同じキーを共有する RDD からのデータをグループ化 |
| combineByKey | (To be removed) Combine the elements for each key using a custom set of aggregation functions |
| distinct | (削除予定) 既存の RDD の個々に異なる要素を含む新しい RDD を返す |
| filter | (削除予定) 述語関数を満たす要素のみを含む新しい RDD を返す |
| flatMap | (削除予定) まず既存の RDD のすべての要素に関数を適用し、次に結果をフラット化することにより、新しい RDD を返す |
| flatMapValues | (削除予定) キーを変更せずに flatMap メソッドによってキーと値のペアの RDD の各値を渡す |
| foldByKey | (削除予定) 結合関数とニュートラルな "ゼロ値" を使用して、各キーの値をマージ |
| fullOuterJoin | (削除予定) 2 つのキーと値のペアの RDD 間で完全外部結合を実行 |
| glom | (削除予定) RDD の各パーティション内のすべての要素を結合する |
| groupBy | (削除予定) グループ化された項目からなる RDD を返す |
| groupByKey | (削除予定) RDD の各キーの値を 1 つのシーケンスにグループ化 |
| intersection | (削除予定) ある RDD と別の RDD との積集合を返す |
| join | (削除予定) キーが一致するすべての要素のペアを含む RDD を返す |
| keyBy | (削除予定) 関数を適用して RDD 内の要素のタプルを作成 |
| keys | (削除予定) 各タプルのキーをもつ RDD を返す |
| leftOuterJoin | (削除予定) 左外部結合の実行 |
| map | (削除予定) 入力 RDD の各要素に関数を適用して、新しい RDD を返す |
| mapValues | (削除予定) キーを変更せずに map 関数によってキーと値のペアの RDD の各値を渡す |
| reduceByKey | (削除予定) 結合 reduce 関数を使用して各キーの値をマージ |
| repartition | (削除予定) 厳密に numPartitions 個のパーティションをもつ新しい RDD を返す |
| rightOuterJoin | (削除予定) 右外部結合の実行 |
| sortBy | (削除予定) 特定の関数で RDD を並べ替え |
| sortByKey | (削除予定) キーと値のペアで構成される RDD をキーで並べ替え |
| subtract | (削除予定) 2 つの RDD の差集合から得られた値を返す |
| subtractByKey | (削除予定) 2 つの RDD 間のキーの差集合から得られたキーと値のペアを返す |
| union | (削除予定) ある RDD と別の RDD との和集合を返す |
| values | (削除予定) 各タプルの値をもつ RDD を返す |
| zip | (削除予定) ある RDD と別の RDD の結合 |
| zipWithIndex | (削除予定) RDD とその要素インデックスの結合 |
| zipWithUniqueId | (削除予定) 生成された一意の Long ID と RDD の結合 |
アクション
| aggregate | (削除予定) 各パーティションの要素を集計したあと、すべてのパーティションの結果を 1 つの値に集計 |
| collect | (削除予定) RDD 内のすべての要素を含む MATLAB cell 配列を返す |
| collectAsMap | (削除予定) RDD 内のキーと値のペアを MATLAB containers.Map オブジェクトとして返す |
| count | (削除予定) RDD 内の要素数をカウント |
| fold | (削除予定) 各パーティションの要素と、すべてのパーティションの後続の結果を集計 |
| reduce | (削除予定) 指定された可換的関数と結合関数を使用して RDD の要素を削減 |
| reduceByKeyLocally | (削除予定) 結合 reduce 関数を使用して各キーの値をマージし、結果をすぐにドライバーに返す |
| saveAsKeyValueDatastore | (削除予定) キーと値の RDD を datastore 関数を使用して読み戻すことができるバイナリ ファイルとして保存 |
| saveAsTallDatastore | (削除予定) RDD を、datastore 関数を使用して読み戻すことができるバイナリ ファイルに MATLAB tall 配列として保存 |
| saveAsTextFile | (削除予定) RDD をテキスト ファイルとして保存 |
操作
| cache | (削除予定) RDD をメモリに保存 |
| checkpoint | (削除予定) チェックポイント用に RDD をマーク |
| getCheckpointFile | (削除予定) RDD がチェックポイント化されているファイルの名前を取得する |
| getDefaultReducePartitions | (削除予定) RDD 内の既定の reduce パーティション数を取得する |
| getNumPartitions | (削除予定) RDD 内のパーティション数を返す |
| isEmpty | (削除予定) RDD に要素が含まれているかどうかの判定 |
| keyLimit | (削除予定) ディスクにあふれる前に保存できる、一意のキーのしきい値を返す |
| persist | (削除予定) RDD のストレージ レベルの値を、計算後に操作全体で永続するように設定 |
| toDebugString | (削除予定) デバッグ用に RDD とその再帰的な依存関係の記述を取得 |
| unpersist | (削除予定) RDD を非永続としてマークし、それに関連するすべてのブロックをメモリとディスクから削除 |
詳細
参考文献
詳細については、Spark の最新のドキュメンテーションを参照してください。
