クラスタリングを使用した欠員の分析

この記事では、Gaussian Mixture Model（GMM）クラスタリングモデルを使用して、検索クエリ「Python」の空席を分析する方法を提供します。選択したクラスターごとに、最も要求されたスキルと給与範囲が表示されます。



この研究の目的は何でしたか？知りたかった：

• Pythonはどのアプリケーションで使用されていますか
• 必要な知識：データベース、ライブラリ、フレームワーク
• 各分野のスペシャリストの需要
• 提供される給与

データのロード

APIを使用 してサイトhh.ruからダウンロードされたジョブ：dev.hh.ru。「Python」のリクエストにより、1994年の欠員がアップロードされ（モスクワ地域）、80％と20％の割合でトレーニングスイートとテストスイートに分割されました。トレーニングセットのサイズは1595、テストセットのサイズは399です。テストセットは、トップ/アンチトップスキルおよびジョブ分類セクションでのみ使用されます。

兆候

アップロードされた欠員のテキストに基づいて、最も一般的なnグラムの単語の2つのグループが形成されました。

• キリルとラテン語で2グラム
• ラテン語で1グラム

IT欠員では、主要なスキルとテクノロジーは通常英語で書かれているため、2番目のグループにはラテン語のみの単語が含まれていました。



nグラムを選択した後、最初のグループには81個の2グラムが含まれ、2番目のグループには98個の1グラムが含まれていました。



優先度の高い順に、次の基準に従って空席をクラスターに分割することが決定されました。



n-gramが属する基準のグループ、およびそれに割り当てる重みの決定は、直感的なレベルで行われました。次にいくつかの例を示します。

1. 一見したところ、「Docker」は4〜6の重みを持つ2番目の基準グループに起因する可能性があります。しかし、欠員に「Docker」と記載されている場合、欠員は「DevOpsエンジニア」のポジションにある可能性があります。したがって、「Docker」は最初のグループに分類され、7の重みを受け取りました。
   
   
2. «Java» , .. «Java» Java- « Python». «-». , , , «Java» 9.
   
   

n- — .

計算のために、各空孔は0から9までの整数の179（選択された特徴の数）の次元を持つベクトルに変換されました。0は空孔にi番目のn-gramがないことを意味し、1から9までの数はi番目のnが存在することを意味します。 -グラムとその重量。さらに本文では、ドットはそのようなベクトルによって表される空孔として理解されます。

例：

n-gramのリストに3つの値しか含まれていないとします。

番号。	n	n-gram	重量	欠員
1	2	pythonで	8	258
2	2	原則の理解	8	221
3	1	sql	五	490

次に、テキスト付きの欠員について。



要件：

• python開発における3年以上の経験。
• sqlに関する十分な知識

ベクトルは[8、0、5]です。

指標

データを操作するには、データを理解する必要があります。私たちの場合、ポイントのクラスターがあるかどうかを確認したいと思います。これをクラスターと見なします。このために、t-SNEアルゴリズムを使用して、すべてのベクトルを2D空間に変換しました。 



この方法の本質は、セットのポイント間の距離の比率を可能な限り維持しながら、データの次元を縮小することです。式からt-SNEがどのように機能するかを理解することは非常に困難です。しかし、私はインターネットのどこかにある1つの例が好きでした。たとえば、3次元空間にボールがあるとします。各ボールは、交差せず、交差するときに互いに干渉しない目に見えないスプリングによって、他のすべてのボールと接続されます。スプリングは2つの方向に作用します。それらは、ボール同士の距離と接近の両方に抵抗します。システムは安定した状態にあり、ボールは静止しています。ボールの1つを取り出して引き戻し、放すと、スプリングの力で元の状態に戻ります。次に、2つの大きなプレートを取り、ボールを薄い層に絞ります。2つのプレートの間の平面内を移動するボールに干渉しないようにしながら。スプリングの力が作用し始め、ボールが動き、すべてのスプリングの力のバランスがとれると最終的に停止します。スプリングは、互いに接近していたボールが比較的接近して平らなままになるように機能します。また、削除されたボールを使用すると、それらは互いに削除されます。バネとプレートの助けを借りて、3次元空間を2次元に変換し、何らかの形でポイント間の距離を維持しました！また、削除されたボールを使用すると、それらは互いに削除されます。バネとプレートの助けを借りて、3次元空間を2次元に変換し、何らかの形でポイント間の距離を維持しました！また、削除されたボールを使用すると、それらは互いに削除されます。バネとプレートの助けを借りて、3次元空間を2次元に変換し、何らかの形でポイント間の距離を維持しました！



t-SNEアルゴリズムは、ポイントのセットを視覚化するためにのみ使用されました。彼は、メトリックの選択、および機能の重みの選択を支援しました。



日常生活で使用するユークリッドメトリックを使用すると、欠員の場所は次のようになります。





この図は、ほとんどのポイントが中央に集中しており、側面に小さな枝があることを示しています。このアプローチでは、ポイント間の距離を使用するクラスタリングアルゴリズムでは、何も効果がありません。



探索しているデータでうまく機能する多くのメトリック（2点間の距離を決定する方法）があります。nグラムの重みを考慮して、メジャーとしてJaccard距離を選択しました。 Jaccardの対策は理解しやすいですが、検討中の問題を解決するのにうまく機能します。

:

1 n-: « python», «sql», «docker»

2 n-: « python», «sql», «php»

:

« python» — 8

«sql» — 5

«docker» — 7

«php» — 9

(n- 1- 2- ):  « python», «sql» = 8 + 5 = 13

( n- 1- 2- ):  « python», «sql», «docker», «php» = 8 + 5 + 7 + 9 = 29

=1 — ( / ) = 1 — (13 / 29) = 0.55

ポイントのすべてのペア間の距離のマトリックスが計算され、マトリックスのサイズは1595 x1595です。合計で、一意のペア間の距離は1,271,215です。平均距離は0.96であり、619 659の間の距離は1です（つまり、類似性はまったくありません）。次のグラフは、全体として、ジョブ間の類似性がほとんどないことを示しています。





Jaccardメトリックを使用すると、スペースは次のようになります。





密度の4つの異なる領域と、低密度の2つの小さなクラスターが現れました。少なくともそれが私の目が見る方法です！

クラスタリング

クラスタリングアルゴリズムとしてガウス混合モデル（GMM）が選択されました。アルゴリズムは、入力としてベクトルの形式でデータを受け取ります。n_componentsパラメーターは、セットを分割する必要があるクラスターの数です。ここでアルゴリズムがどのように機能するかを確認できます（英語）。 scikit-learnライブラリの既製のGMM実装を使用しました：sklearn.mixture.GaussianMixture。



GMMはメトリックを使用せず、一連の機能とその重みによってのみデータを分離することに注意してください。この記事では、Jaccard距離を使用して、データを視覚化し、クラスターのコンパクトさを計算し（コンパクトさのためにクラスターポイント間の平均距離を取りました）、決定します。クラスターの中心点（通常の空孔） -クラスターの他の点までの平均距離が最小の点。多くのクラスタリングアルゴリズムは、ポイント間の距離を正確に使用します。その他の方法のセクションでは、メトリックベースであり、良好な結果が得られる他のタイプのクラスタリングについて説明します。



前のセクションでは、6つのクラスターが存在する可能性が最も高いと目で判断しました。これは、n_components = 6でのクラスタリング結果の外観です。







クラスターの出力を個別に示した図では、クラスターはポイント数の降順で左から右、上から下に配置されています。クラスター4が最大、クラスター5が最小です。各クラスターのコンパクトさは括弧内に示されています。



外観上、t-SNEアルゴリズムが完全ではないと考えても、クラスタリングはあまり良くないことがわかりました。クラスターを分析するとき、結果も有望ではありませんでした。



クラスターn_componentsの最適な数を見つけるために、 AICおよびBIC基準を使用します。これについては、ここで読むことができます。これらの基準の計算は、sklearn.mixture.GaussianMixtureメソッドに組み込まれています。基準グラフは次のようになります。





n_components = 12の場合、BIC基準の値は最低（最良）であり、AIC基準の値も最小値（n_components = 23の場合は最小値）に近くなります。空室を12のクラスターに分割しましょう。







クラスターは、外観と数値の両方でよりコンパクトになりました。手作業による分析では、欠員は人を理解するために特徴的なグループに分けられました。この図は、クラスターの名前を示しています。11と4の番号が付けられたクラスターは、<ゴミ箱2>としてマークされます。

1. クラスター11では、すべての機能の合計の重みがほぼ同じです。
2. クラスター4はJava専用です。それにもかかわらず、クラスター内のJava Developerの位置には欠員がほとんどなく、Javaの知識が「追加のプラス」として必要になることがよくあります。

クラスター

11と4の番号が付けられた2つの情報のないクラスターを削除すると、結果は10クラスターになります。





クラスターごとに、クラスターの空席で最も頻繁に見られる機能と2グラムの表があります。



凡例：



S-特性が検出された空孔の割合に特性の重みを掛けたもの

％ -特性が検出された空孔の割合/ 2グラム

典型的なクラスター空孔-クラスターの他のポイントまでの平均距離が最小の空孔

データアナリスト

仕事の数：299



典型的な仕事：35,805,914

C ++開発者

仕事の数：139

典型的な仕事：39,955,360

Linux / DevOpsエンジニア

仕事の数：126

典型的な仕事：39,533,926

Python開発者

求人の数：104

典型的な仕事：39,705,484

データサイエンティスト

仕事の数：98

典型的な仕事：38 071 218

フロントエンドの開発者

仕事の数：97

典型的な仕事：39,681,044

バックエンド開発者

仕事の数：93

典型的な仕事：40,226,808

DevOpsエンジニア

ジョブ数：78

典型的なジョブ：39634258

データエンジニア

仕事の数：77

典型的な仕事：40,008,757

QAエンジニア

ジョブ数：56

典型的なジョブ：39630489

給与

給与は、クラスター内の1,167のうち261（22％）の欠員にのみ示されています。



給与を計算する場合：

1. 「...から...」の範囲が指定された場合、平均値が使用されました
2. 「from ...」または「to ...」のみが示された場合、この値が取得されました
3. 税引き後の給与（NET）を使用した（または与えられた）計算

チャート上：

1. クラスターは給与中央値の降順でランク付けされます
2. ボックス内の垂直バー-中央値
3. ボックス-範囲[Q1、Q3]。ここで、Q1（25％）とQ3（75％）はパーセンタイルです。それら。給与の50％が箱に入る
4. 「口ひげ」には、[Q1-1.5 * IQR、Q3 + 1.5 * IQR]の範囲の給与が含まれます。ここで、IQR = Q3-Q1-四分位間の範囲
5. 個々のポイント-口ひげに分類されなかった異常。（図に含まれていない異常があります）

トップ/アンチトップスキル

チャートは、1994年にアップロードされたすべての欠員について作成されました。給与は443（22％）の欠員で示されます。各機能の計算では、この機能が存在する空席が選択され、それに基づいて給与の中央値が計算されました。

職種分類

複雑な数学的モデルに頼ることなく、クラスタリングをはるかに簡単にすることができます。つまり、上位の役職をまとめてグループに分割することです。次に、各グループの上位nグラムと平均給与を分析します。機能を強調表示して重みを割り当てる必要はありません。



このアプローチは、「Python」クエリに対して（ある程度）うまく機能します。ただし、「1Cプログラマー」というリクエストの場合、このアプローチは機能しません。 1Cプログラマーの場合、1C構成または適用領域が必要要員の名前で示されることはめったにありません。そして、1Cが使用される多くの分野があります：会計、給与計算、税計算、産業企業でのコスト計算、倉庫会計、予算編成、ERPシステム、小売、管理会計など。



私自身、欠員の分析には2つのタスクがあります。

1. 私がほとんど知らないプログラミング言語がどこで使用されているかを理解します（この記事のように）。
2. 新しく投稿されたジョブをフィルタリングします。

クラスタリングは、最初の問題を解決するのに、2番目の問題を解決するのに適しています-さまざまな分類子、ランダムフォレスト、決定ツリー、ニューラルネットワーク。それでも、選択したモデルの職種分類問題への適合性を評価したかったのです。sklearn.mixture.GaussianMixtureに



組み込まれているpredict（）メソッドを使用する場合、何も起こりません。彼は欠員のほとんどを大きなクラスターに起因すると考えており、最初の3つのクラスターのうち2つは有益ではありません。私は別のアプローチを使用しました： 

1. 分類したい欠員を取ります。私たちはそれをベクトル化し、私たちの空間でポイントを獲得します。
2. このポイントからすべてのクラスターまでの距離を計算します。ポイントとクラスターの間の距離の下で、このポイントからクラスター内のすべてのポイントまでの平均距離を取りました。
3. 距離が最小のクラスターは、選択した空室の予測クラスです。クラスターまでの距離は、そのような予測の信頼性を示しています。
4. モデルの精度を上げるために、しきい値距離として0.87を選択しました。最も近いクラスターまでの距離が0.87を超える場合、モデルは空席を分類しません。

モデルを評価するために、30個の欠員がテストセットからランダムに選択されました。評決列：



N / a：モデルはジョブを分類しませんでした（距離> 0.87）

+：正しい分類

-：正しくない分類  



合計：12の欠員は結果がなく、2つの欠員-誤った分類、16の欠員-正しい分類。モデルの完全性-60％、モデルの精度-89％。

弱い面

最初の問題-2つの欠員を取りましょう：

空室1-「リードC ++プログラマー」

「要件：

• 5年以上のC ++開発経験。
• Pythonの知識は追加のプラスになります。」

欠員2-「リードPythonプログラマー」

「要件：

• 5年以上のPython開発経験。
• C ++の知識は追加のプラスになります "

モデルの観点から、これらの欠員は同一です。本文中の出現順に特徴の重みを調整してみました。これは何も良いことにはなりませんでした。



2番目の問題は、多くのクラスタリングアルゴリズムと同様に、GMMがセット内のすべてのポイントをクラスタリングすることです。情報量の少ないクラスター自体は問題ではありません。しかし、有益なクラスタはまた、外れ値を含んでいます。ただし、これは、クラスターをクリアすることで簡単に解決できます。たとえば、残りのクラスターポイントまでの平均距離が最大である最も非定型のポイントを削除します。

他の方法

クラスター比較 ページは、さまざまなクラスタリングアルゴリズムをよく示しています。良い結果を出したのはGMMだけです。

残りのアルゴリズムは機能しないか、非常に控えめな結果をもたらしました。



私が実装したもののうち、良い結果は2つのケースにありました。

1. 高密度のポイントは、互いに離れた場所にある特定の近隣で選択されました。ポイントはクラスターの中心になりました。次に、中心に基づいて、クラスター形成のプロセスが始まりました-隣接するポイントの結合。
2. 凝集クラスタリングは、ポイントとクラスターの反復的なマージです。scikit-learnライブラリはこの種のクラスタリングを提供しますが、うまく機能しません。私の実装では、マージを繰り返すたびに結合マトリックスを変更しました。いくつかの境界パラメータに達したときにプロセスが停止しました。実際、1500個の要素がクラスター化されている場合、樹状図はマージプロセスを理解するのに役立ちません。

結論

私が行った調査は、記事の冒頭にあるすべての質問に対する答えを私に与えてくれました。既知のアルゴリズムのバリエーションを実装しながら、クラスタリングを実際に体験しました。この記事が読者の分析的研究を実行する動機付けとなり、このエキサイティングなレッスンに何らかの形で役立つことを心から願っています。