Mathematics

異常値の除去

NaNsと同様にデータセットから異常値または信用できないデータ点を取り除くことができます。交通量データに対して、データの各列の平均と標準偏差を求めてみましょう。

mu = mean(count);
sigma = std(count);

標準偏差の3倍よりも大きい値を異常値とし、そのようなデータを含んでいる行の番号をつぎのステートメントで得られます。

[n,p] = size(count)
outliers = abs(count - mu(ones(n, 1),:)) > 3*sigma(ones(n, 1),:);
nout = sum(outliers)
nout =
       1    0    0

最初の列に一つ異常値が含まれています。これに対応するすべての観測値を取り除きます。

count(any(outliers'),:) = [];

データの前処理

回帰とカーブフィッテング