データの前処理
データ クリーニング、平滑化、グループ化
正確な、効率的な、または有意義な解析を確実に行うために、データに前処理の手法が必要になる場合があります。データ クリーニングは、正しくないデータや欠落したデータを検索、削除、および置換する方法を指します。局所的極値や急激な変化を検出すると、重要なデータのトレンドを識別できます。平滑化およびトレンド除去は、スケーリングによってデータの境界を変更しながら、ノイズや多項式トレンドをデータから削除する処理です。グループ化とビン化の方法によって、データの特性をグループごとに特定します。
アプリ
データ クリーナー | 列方向データの前処理と整理 |
ライブ エディター タスク
欠損データの削除 | ライブ エディターでの欠損データの検出、埋め込みまたは削除 |
外れ値データの削除 | ライブ エディターでの外れ値の検出、埋め込みまたは削除 |
グループ別に計算 | Summarize, transform, or filter by group in the Live Editor |
変化点の検出 | ライブ エディターでデータ内の急激な変化を検出 |
局所的極値の検出 | ライブ エディターでの局所的最大値と局所的最小値の検出 |
データの正規化 | ライブ エディターでデータをセンタリングおよびスケーリング |
データの平滑化 | ライブ エディターでノイズを含むデータを平滑化 |
トレンドの除去 | ライブ エディターで多項式トレンドをデータから除去 |
関数
トピック
- table 内の乱雑な欠損データの整理
この例では、データが欠損している table 行を検出、整理および削除する方法を示します。
- データ分割のためのグループ化変数
グループ化変数を使用して、データ変数を分類できます。
- データのグループへの分割と統計値の計算
この例では、データをグループに分割して各グループに統計関数を適用する方法を示します。
- Perform Calculations by Group in Table
Specify groups of data in tables and timetables, and perform calculations by group. Choose a function for group calculations using these recommendations.