データの前処理

こんにちは！私はWeb開発者であり、数年前から機械学習に興味を持っています。日々のワークパークでは、機械学習とは関係のない、あまり興味のない問題を解決しなければならないことがあるので、一度読んだり使ったりしたことを忘れてしまうことがあります。自分用のメモを作成し、知識を強化して他の人と共有するために、この一連の機械学習に関する記事を書くことにしました。データの前処理から始めます。

この記事では、データで発生する問題、それらを解決する方法、およびさまざまなモデルにデータを供給する前にデータを準備するために最も一般的に使用される方法について説明します。

スキップ

次のデータセットについて考えてみます。私は正直にそれを思いついた、そしてこの記事でさらにそれを参照する。

, . . — , . , .

, "" , . , , .

— , - , . , "" "" . , , - - . : , , , .

. , . .

, . , . : , . — , .

:

• "".

• .

, :

• .

, " " 1 .

• . , .

, . , , . , "" . — ( ).

, , , , . :

$$

$$IQR = Q_3 - Q_1,$$

$$$Q_1$ — — , 25% . $$$Q_3$ — — , 75% .

, , , : :

$$

$$[ Q_1 -1.5IQR, Q_3 + 1.5IQR ]$$

.

— . , [0, 1]. , . , . (, , ) .

. , , . , .

$$

$$x_{new} = \frac{ x_{old} - x_{min}} {x_{max} - x_{min}}$$

Z-. Z- :

$$

$$(-3σ[X], 3σ[X]),$$

$$$σ[X]$ — X.

Z- .

$$

$$x_{new} = \frac{x_{old} - M[X]} {σ[X]}$$

M[X] — X.

, Z- , .

One-hot encoding

. . , " " - . : . . . ( ).

, , ? . , " " 1, "" — 2. . , , . , . .

, , . , "" 4 :

, , .

, . . , , . . , .

ここを読んだり閲覧したりしていただきありがとうございます。すべての前処理方法について説明したわけではありません。この記事は、プロのデータ科学者にはほとんど役立ちません。ただし、初心者でデータの処理方法がわからない場合は、ここに安全に戻ることができます。あなたの学習と興味深いタスクで頑張ってください！

ソースのリスト

私は科学者ではなく、この記事は科学的であるとは主張していません。したがって、GOSTに従ってソースを作成することはしません。すみません。

1. YandexとHSEの「機械学習入門」からのコースの講義をカーソルで。
2. 標準化、または平均除去と分散スケーリング-sklearnライブラリのドキュメント
3. 高度な機械学習データ準備タスク-Microsoft