使用聚类分析空缺

本文提供了一种使用高斯混合模型（GMM）聚类模型分析搜索查询“ Python”的空缺的方法。对于每个选定的集群，将显示最需要的技能和薪资范围。



这项研究的目的是什么？我想知道：

• Python在哪些应用程序中使用
• 需要什么知识：数据库，库，框架
• 每个方向需要多少专家
• 提供什么薪水

加载数据中

使用API​​：dev.hh.ru 从站点hh.ru下载的作业。应“ Python”的要求，1994年（莫斯科地区）的职位空缺被上传，分为培训和测试套件，分别为80％和20％。训练集的大小为1595，测试集的大小为399。该测试集仅用于“最高/最高级”技能和“工作分类”部分。

迹象

根据上传的职位空缺的文本，形成了两组最常见的n-gram单词：

• 西里尔文和拉丁文2克
• 1克拉丁文

在IT空缺中，关键技能和技术通常是用英语编写的，因此第二组仅包括拉丁语单词。



选择n-gram后，第一组包含81个2-gram，第二组包含98个1-gram：



已决定按照以下标准按优先顺序将空缺分组：



确定n-gram属于哪一组标准以及为其分配多少权重是在直观的水平上进行的。以下是几个示例：

1. 乍一看，“ Docker”可以归为第二组条件，权重为4到6。但是在空缺中提及“ Docker”很可能意味着该空缺是“ DevOps工程师”的职位。因此，“ Docker”属于第一类，并且权重为7。
   
   
2. «Java» , .. «Java» Java- « Python». «-». , , , «Java» 9.
   
   

n- — .

为了进行计算，将每个空位转换为尺寸为179（选定特征的数量）的矢量，该矢量的整数为0到9，其中0表示空位中不存在第i个n元语法，而1到9的数字表示不存在第i个n -克及其重量。此外，在本文中，点被理解为由这种向量表示的空位。

示例：

假设一个n-gram列表仅包含三个值：

没有。	ñ	克	重量	空缺
1个	2	在python中	八	258
2	2	对原理的理解	八	221
3	1个	sql	五	490

然后是文本的空缺。



要求：

• 3年以上python开发经验。
• 良好的知识SQL

向量是[8，0，5]。

指标

要使用数据，您需要对此有一个了解。就我们而言，我想看看是否有点的聚类，我们将其视为聚类。为此，我使用了t-SNE算法将所有矢量转换为2D空间。 



该方法的本质是减小数据的维数，同时尽可能保持集合点之间距离的比例。用公式很难理解t-SNE是如何工作的。但是我喜欢一个在Internet上某个地方找到的示例：假设我们在三维空间中有球。我们通过不可见的弹簧将每个球与所有其他球连接，该弹簧不会以任何方式相交并且在穿越时不会相互干扰。弹簧沿两个方向作用，即它们既抵抗球彼此之间的距离又阻止其相互靠近。系统处于稳定状态，球是固定的。如果我们取一个球，然后将其拉回，然后释放，由于弹簧的作用力，它将返回到其原始状态。接下来，我们拿两个大盘子，把球挤成薄薄的一层，同时不干扰球在两个板之间的平面中移动。当所有弹簧的力达到平衡时，弹簧的力开始作用，球运动并最终停止。弹簧将起作用，以使彼此靠近的球保持相对闭合和平坦。同样，如果球被取下，则它们将彼此取下。在弹簧和板的帮助下，我们将三维空间转换为二维空间，以某种形式保留了点之间的距离！同样，如果球被取下，则它们将彼此取下。在弹簧和板的帮助下，我们将三维空间转换为二维空间，以某种形式保留了点之间的距离！同样，如果球被取下，则它们将彼此取下。在弹簧和板的帮助下，我们将三维空间转换为二维空间，以某种形式保留了点之间的距离！



我仅使用t-SNE算法来可视化一组点。他帮助选择了一个度量标准，并为要素选择了权重。



如果我们使用日常生活中使用的欧几里德度量标准，那么空缺的位置将如下所示：





从图中可以看出，大多数点都集中在中心，侧面有小分支。使用这种方法，使用点之间距离的聚类算法不会产生任何好处。



有许多指标（确定两个点之间的距离的方式）可以很好地适用于您正在探索的数据。考虑到n克的权重，我选择了Jaccard距离作为度量。 Jaccard的措施很容易理解，但是对于解决所考虑的问题非常有效。

:

1 n-: « python», «sql», «docker»

2 n-: « python», «sql», «php»

:

« python» — 8

«sql» — 5

«docker» — 7

«php» — 9

(n- 1- 2- ):  « python», «sql» = 8 + 5 = 13

( n- 1- 2- ):  « python», «sql», «docker», «php» = 8 + 5 + 7 + 9 = 29

=1 — ( / ) = 1 — (13 / 29) = 0.55

计算所有对点之间的距离矩阵，矩阵的大小为1595 x 1595.唯一对之间的总距离为1,271,215。平均距离为0.96，在619659之间的距离为1（即完全没有相似性）。下表显示了总体而言，作业之间几乎没有相似之处：





使用Jaccard指标，我们的空间现在看起来像这样：





出现了四个不同的密度区域，以及两个小的低密度簇。至少那是我的眼睛！

聚类

选择高斯混合模型（GMM）作为聚类算法。该算法接收向量形式的数据作为输入，n_components参数是必须将集合拆分为的簇数。您可以在此处查看该算法的工作原理（英语）。我使用了scikit-learn库中的现成GMM实现：sklearn.mixture.GaussianMixture。



请注意，GMM不使用度量​​标准，而是仅按一组要素及其权重来分隔数据。在本文中，Jaccard距离用于可视化数据，计算聚类的紧密度（对于紧密度，我采用了聚类点之间的平均距离），并确定集群的中心点（典型的空位） -到集群其他点的平均距离最小的点。许多聚类算法精确地使用了点之间的距离。 “其他方法”部分将讨论基于度量的其他类型的聚类，并给出良好的结果。



在上一节中，通过肉眼确定将最有可能出现六个群集。这就是n_components = 6时聚类结果的外观：







在单独输出群集的图中，群集按从左到右，从上到下的点数的降序排列：群集4最大，群集5最小。每个群集的紧凑性在方括号中指出。



从外观上看，即使考虑到t-SNE算法不是完美的，聚类也不是很好。分析聚类时，结果也不令人鼓舞。



为了找到n_components集群的最佳数量，我们将使用AIC和BIC标准，您可以在此处阅读。这些标准的计算内置在sklearn.mixture.GaussianMixture方法中。这是标准图的样子：





当n_components = 12时，BIC准则具有最低（最佳）值，AIC准则也具有接近最小值（n_components = 23时的最小值）的值。让我们将空缺分为12个类：







现在，群集在外观和数值上都更加紧凑。在手动分析过程中，空缺被分为特征组以了解一个人。该图显示了群集的名称。编号为11和4的群集标记为<垃圾2>：

1. 在群集11中，所有要素的总权重大致相同。
2. 集群4专用于Java。但是，集群中Java Developer的职位很少，通常需要Java知识，因为“这将是一个额外的优势”。

集群

除去编号为11和4的两个无信息的群集后，结果为10个群集：





对于每个群集，都有一张在群集空缺中最常见的功能和2字形表。



图例：



S-发现特征的空位百分比乘以特征的权重

％ -发现特征/ 2-克的空位百分比

典型簇空位-空位，与簇中其他点的平均距离最小

数据分析师

职位数量：299名



典型职位：35,805,914

C ++开发人员

职位数量：139个

典型职位：39,955,360

Linux / DevOps工程师

就业人数：126名

典型职位：39,533,926

Python开发人员

职位空缺：104

典型职位：39,705,484

数据科学家

职位数量：98个

典型职位：38071218

前端开发人员

就业人数：97名

典型职位：39,681,044

后端开发人员

就业人数：93名

典型职位：40,226,808

DevOps工程师

份数 ：78

典型份数：39634258

数据工程师

职位数量：77个

典型职位：40,008,757

质量检查工程师

份数 ：56

典型职位：39630489

薪水

集群中只有1,167个职位中的261个（22％）职位空缺显示薪水。



在计算工资时：

1. 如果指定范围“从...到...”，则使用平均值
2. 如果仅指示“从...”或仅“至...”，则采用此值
3. 税后薪金使用的（或给定的）计算（净值）

在图表上：

1. 集群按工资中位数的降序排列
2. 方框中的竖线-中位数
3. 方块-范围[Q1，Q3]，其中Q1（25％）和Q3（75％）是百分位。那些。50％的薪水掉进了盒子里
4. “小胡子”的薪水范围为[Q1-1.5 * IQR，Q3 + 1.5 * IQR]，其中IQR = Q3-Q1-四分位数范围
5. 单个点-未落入胡须的异常。（图中未包含异常）

顶级/反顶级技能

该图表是针对1994年所有空缺职位构建的。薪水以443（22％）个职位空缺表示。为了计算每个功能，选择存在该功能的职位空缺，并根据其空缺计算工资。

工作分类

无需求助于复杂的数学模型，就可以使聚类变得更加容易：将空缺的顶级名称进行汇总，然后将其分组。接下来，分析每组的前n克和平均薪水。无需突出显示特征并为其分配权重。



对于“ Python”查询，此方法很好（在某种程度上）。但是对于请求“ 1C程序员”，此方法将不起作用，因为对于空缺名称的1C程序员，很少指​​出1C配置或应用区域。 1C的使用领域很多：会计，薪资计算，税收计算，制造企业的成本计算，仓库会计，预算编制，ERP系统，零售，管理会计等。



就我自己而言，我看到两项分析职位空缺的任务：

1. 了解在哪里使用我不了解的编程语言（如本文所述）。
2. 筛选新发布的作业。

聚类适合解决第一个问题，也适合解决第二个问题-各种分类器，随机森林，决策树，神经网络。不过，我想评估所选模型对职位分类问题的适用性。



如果您使用sklearn.mixture.GaussianMixture内置的predict（）方法，则不会发生任何事情。他将大多数职位空缺归因于大型集群，而前三个集群中的两个没有信息。我使用了另一种方法： 

1. 我们采用我们要分类的空缺。我们对其进行矢量化处理，并在我们的空间中取得了一点。
2. 我们计算了从该点到所有群集的距离。在点和群集之间的距离下，我获得了从该点到群集中所有点的平均距离。
3. 距离最小的集群是所选空缺的预测类别。距群集的距离表明了这种预测的可靠性。
4. 为了提高模型的准确性，我选择0.87作为阈值距离，即 如果到最近群集的距离大于0.87，则该模型不会对空位进行分类。

为了评估模型，从测试集中随机选择了30个空缺。在“结论”列中：



N / a：模型未分类作业（距离> 0.87）

+：正确分类

-：错误分类  



总计：12个职位没有结果，2个职位-错误分类，16个职位-正确分类。模型完整性-60％，模型准确性-89％。

弱边

第一个问题-让我们考虑两个空缺：

空缺1-“ Lead C ++程序员”

“要求：

• 超过5年的C ++开发经验。
• 对Python的了解将是额外的优势。“

职位空缺2-“ Python主程序员”

“要求：

• 5年以上Python开发经验。
• 对C ++的了解将是额外的优势，

从模型的角度来看，这些空缺是相同的。我试图通过特征在文本中出现的顺序来调整特征的权重。这并没有带来任何好处。



第二个问题是，就像许多聚类算法一样，GMM对集合中的所有点进行聚类。非信息集群本身不是问题。但是信息丰富的集群也包含离群值。但是，这可以通过清除群集来轻松解决，例如，通过删除与其余群集点具有最大平均距离的非典型点。

其他方法

集群比较 页面很好地演示了各种集群算法。GMM是唯一取得良好成绩的产品。

其余算法要么不起作用，要么给出非常适度的结果。



在我实施的方法中，有两种情况取得了良好的效果：

1. 在彼此相距较远的某个邻域中选择高密度点。这些点成为群集的中心。然后，在中心的基础上，开始了集群形成的过程-相邻点的连接。
2. 聚集聚类是点和聚类的迭代合并。scikit-learn库提供了这种群集，但是效果不佳。在我的实现中，我在每次合并迭代后更改了连接矩阵。当达到某些边界参数时，该过程停止-实际上，如果聚类了1500个元素，则树状图将无助于理解合并过程。

结论

我所做的研究为我提供了本文开头所有问题的答案。在实现各种已知算法的过程中，我获得了有关群集的动手经验。我真的希望这篇文章能激发读者进行分析研究，并以某种方式对这一激动人心的课程有所帮助。