データの前処理

データクリーニング、平滑化、グループ化

正確な、効率的な、または有意義な解析を確実に行うために、データに前処理の手法が必要になる場合があります。データクリーニングは、正しくないデータや欠落したデータを検索、削除、および置換する方法を指します。局所的極値や急激な変化を検出すると、重要なデータのトレンドを識別できます。平滑化およびトレンド除去は、スケーリングによってデータの境界を変更しながら、ノイズや多項式トレンドをデータから削除する処理です。グループ化とビン化の方法によって、データの特性をグループごとに特定します。

アプリ

データクリーナー

列方向データの前処理と整理

ライブエディタータスク

欠損データの削除	ライブエディターでの欠損データの検出、埋め込みまたは削除
外れ値データの削除	ライブエディターでの外れ値の検出、埋め込みまたは削除
グループ別に計算	ライブエディターでのグループごとの要約、変換、またはフィルター処理
変化点の検出	ライブエディターでデータ内の急激な変化を検出
局所的極値の検出	ライブエディターでの局所的最大値と局所的最小値の検出
データの正規化	ライブエディターでデータをセンタリングおよびスケーリング
データの平滑化	ライブエディターでノイズを含むデータを平滑化
トレンドの除去	ライブエディターで多項式トレンドをデータから除去

関数

すべて展開する

欠損データと外れ値

`anymissing`	いずれかの配列要素が欠損しているかどうかの判別
`ismissing`	欠損値を検出
`rmmissing`	欠損エントリを削除
`fillmissing`	欠損値を埋める
`missing`	欠損値を作成
`standardizeMissing`	標準の欠損値を挿入
`isoutlier`	データの外れ値を検出
`filloutliers`	データの外れ値の検出と置き換え
`rmoutliers`	データ内の外れ値の検出と削除
`movmad`	移動中央絶対偏差

変化点および局所的極値の検出

`ischange`	データの急激な変化の検出
`islocalmin`	局所的最小値の検出
`islocalmax`	局所的最大値を検出

データの平滑化とトレンドの検出

`smoothdata`	ノイズの多いデータの平滑化
`movmean`	移動平均値
`movmedian`	移動中央値
`detrend`	多項式のトレンドを削除
`trenddecomp`	データのトレンドを検出

データの正規化およびスケーリング

`normalize`	データの正規化
`rescale`	配列要素のスケール範囲

データのグループ化とビン化

`discretize`	データをビンまたはカテゴリにグループ化
`groupcounts`	グループの要素数
`groupfilter`	グループによるフィルター処理
`groupsummary`	グループ要約の計算
`grouptransform`	グループごとの変換
`histcounts`	ヒストグラムのビンのカウント数
`histcounts2`	二変量ヒストグラムのビンのカウント数
`findgroups`	グループを見つけてグループ番号を返す
`splitapply`	データをグループに分割して関数を適用
`rowfun`	table または timetable の行への関数の適用
`varfun`	関数をテーブル変数または timetable 変数に適用
`accumarray`	ベクトル要素の累積

トピック

table 内の乱雑な欠損データの整理
この例では、データが欠損している table 行を検出、整理および削除する方法を示します。
データ分割のためのグループ化変数
グループ化変数を使用して、データ変数を分類できます。
データのグループへの分割と統計値の計算
この例では、データをグループに分割して各グループに統計関数を適用する方法を示します。
Perform Calculations by Group in Table
Specify groups of data in tables and timetables, and perform calculations by group. Choose a function for group calculations using these recommendations.