Main Content

データ前処理

データのクリーニング、正規化、集計、および解析

データの前処理は、生データを解析しやすい形式に変換するプロセスです。このプロセスには、欠損値の処理やノイズの多いデータの平滑化などのクリーニング ステップが含まれることがあります。データをクリーニング、整理、集計することで、パターンを特定したり、予測を行ったり、意思決定に情報を提供したりすることができます。

アプリ

すべて展開する

データ クリーナー列方向データの前処理と整理 (R2022a 以降)

ライブ エディター タスク

すべて展開する

欠損データの削除ライブ エディターでの欠損データの検出、埋め込みまたは削除
外れ値データの削除ライブ エディターでの外れ値の検出、埋め込みまたは削除
データの平滑化ライブ エディターでノイズを含むデータを平滑化
局所的極値の検出ライブ エディターでの局所的最大値と局所的最小値の検出
変化点の検出ライブ エディターでデータ内の急激な変化を検出
スタック (table 変数)ライブ エディターで複数の table 変数からの値を結合して 1 つの table 変数にする (R2020a 以降)
スタック解除 (table 変数)ライブ エディターで 1 つの table 変数の値を複数の table 変数に分配する (R2020a 以降)
timetable の時間再調整ライブ エディターでの timetable データのリサンプリングまたは集約 (R2020a 以降)
データの正規化ライブ エディターでデータをセンタリングおよびスケーリング (R2021b 以降)
トレンドの検出と除去Find and remove polynomial or periodic trends from data in the Live Editor
ピボット テーブルSummarize tabular data in pivoted table in the Live Editor (R2023b 以降)
グループ別に計算ライブ エディターでのグループごとの要約、変換、またはフィルター処理 (R2021b 以降)

関数

すべて展開する

欠損値

fillmissing欠損エントリを埋める
fillmissing2Fill missing entries in 2-D data (R2023a 以降)
standardizeMissing標準の欠損値を挿入
rmmissing欠損エントリを削除
anymissingいずれかの配列要素が欠損しているかどうかの判別 (R2022a 以降)
ismissing欠損値を検出

外れ値

filloutliersデータの外れ値の検出と置き換え
rmoutliersデータ内の外れ値の検出と削除
clipClip data to range (R2024a 以降)
isoutlierデータの外れ値を検出
isbetweenDetermine which elements are within specified range

ノイズ削減

smoothdataノイズの多いデータの平滑化
smoothdata2 Smooth noisy data in two dimensions (R2023b 以降)
movmean移動平均値
movmedian移動中央値
movsum移動合計値

局所的極値と変化点

islocalmin局所的最小値の検出
islocalmin2Find local minima in 2-D data (R2024a 以降)
islocalmax局所的最大値を検出
islocalmax2Find local maxima in 2-D data (R2024a 以降)
ischangeデータの急激な変化の検出

サンプリング

isuniformDetermine if vector is uniformly spaced (R2022b 以降)
isregular時間またはカレンダーの単位に関して入力時間が規則的かどうかを判別
retimetimetable 内のデータをリサンプルまたは集約し、重複する時間や不規則な時間を解決

table の形状変更

rows2varstable または timetable の再配向による行の変数への変更
stack入力 table または timetable のデータを出力 table または timetable の 1 つの変数にスタック
unstack1 つの変数からデータを取り出して複数変数に入れる

要素の並べ替えと比較

sortSort array elements
sortrows行列または table の行の並べ替え
issortedDetermine if array is sorted
issortedrowsDetermine if matrix or table rows are sorted
unique配列の一意の値
uniquetol許容誤差内の一意の値
ismember集合配列のメンバーである配列要素
ismembertol許容誤差内にある集合内のメンバー

サイズ変更

paddataPad data by adding elements (R2023b 以降)
trimdataTrim data by removing elements (R2023b 以降)
resizeResize data by adding or removing elements (R2023b 以降)

正規化

normalizeデータの正規化
rescale配列要素のスケール範囲

トレンドの検出と除去

detrend多項式のトレンドを削除
trenddecompデータのトレンドを検出 (R2021b 以降)

ビン化

discretizeデータをビンまたはカテゴリにグループ化
histcountsHistogram bin counts
histcounts2二変量ヒストグラムのビンのカウント数

ピボット

pivotSummarize tabular data in pivoted table (R2023a 以降)

集計

summaryData summary
groupsummaryグループ要約の計算
groupcountsグループの要素数
groupfilterグループによるフィルター処理
grouptransformグループごとの変換
findgroupsグループを見つけてグループ番号を返す
splitapplyデータをグループに分割して関数を適用
accumarrayベクトル要素の累積

トピック

データのクリーンアップ

トレンドの除去

集計

注目の例