数据预处理

你好！我是一名Web开发人员，多年来对机器学习感兴趣。因为在我的日常工作园区中，我不得不解决一些对我来说不太有趣的问题，这些问题与机器学习无关，所以我有时会忘记我曾经阅读或使用的内容。为了给自己创建一个备忘录，增强我的知识并与他人分享，我决定写这一系列有关机器学习的文章。我将从数据预处理开始。

在本文中，我将讨论数据发生了什么问题，如何解决它们，以及在将数据提供给不同模型之前准备数据的最常用方法。

跳过

考虑以下数据集。我确实是发明了它，并将在本文中进一步参考它。

, . . — , . , .

, "" , . , , .

— , - , . , "" "" . , , - - . : , , , .

. , . .

, . , . : , . — , .

:

• "".

• .

, :

• .

, " " 1 .

• . , .

, . , , . , "" . — ( ).

, , , , . :

$$

$$IQR = Q_3 - Q_1,$$

$$$Q_1$ — — , 25% . $$$Q_3$ — — , 75% .

, , , : :

$$

$$[ Q_1 -1.5IQR, Q_3 + 1.5IQR ]$$

.

— . , [0, 1]. , . , . (, , ) .

. , , . , .

$$

$$x_{new} = \frac{ x_{old} - x_{min}} {x_{max} - x_{min}}$$

Z-. Z- :

$$

$$(-3σ[X], 3σ[X]),$$

$$$σ[X]$ — X.

Z- .

$$

$$x_{new} = \frac{x_{old} - M[X]} {σ[X]}$$

M[X] — X.

, Z- , .

One-hot encoding

. . , " " - . : . . . ( ).

, , ? . , " " 1, "" — 2. . , , . , . .

, , . , "" 4 :

, , .

, . . , , . . , .

感谢您阅读或浏览到这里。我没有描述所有的预处理方法，并且这篇文章对专业数据科学家来说几乎没有用。但是，如果您是初学者，但不知道如何处理数据，则可以安全地返回此处。祝您学习愉快，工作有趣！

来源清单

我不是科学家，因此本文并不声称是科学的。因此，我不会根据GOST拟定资源。请原谅我。

1. 光标上的Yandex和HSE“机器学习入门”课程。
2. 标准化或均值去除和方差缩放-sklearn库文档
3. 高级机器学习数据准备任务-Microsoft