より多くのデータセットが必要です。音楽、ITスキル、猫

こんにちは、Habr！最近では 、最初の教育データトンの一部として、NUST MISISとZavtra.Online（SkillFactoryの大学学部）のデータサイエンス大学院生のチームによって集められたオープンデータセットについて書きました。そして本日、ファイナルに到達したチームからの3つのデータセットを紹介します。



それらはすべて異なります。音楽市場を調査した人もいれば、ITスペシャリストの労働市場を調査した人もいれば、飼い猫を研究した人もいます。これらのプロジェクトはそれぞれ独自の分野に関連しており、通常の作業過程で何かを改善するために使用できます。たとえば、猫のデータセットは、展示会の審査員に役立ちます。学生が収集する必要のあるデータセットはMVP（テーブル、json、またはディレクトリ構造）である必要があり、データをクリーンアップして分析する必要がありました。彼らが何をしたか見てみましょう。

---

データセット1：データサーファーで音楽の波を滑る

並ぶ：

• Plotnikov Kirill-プロジェクトマネージャー、開発、ドキュメント。
• Dmitry Tarasov-開発、データ収集、文書化。
• Shadrin Yaroslav-開発、データ収集。
• Merzlikin Artyom-プロダクトマネージャー、プレゼンテーション。
• KseniaKolesnichenko-予備的なデータ分析。

ハッカソンへの参加の一環として、チームメンバーはいくつかの異なる興味深いアイデアを提案しましたが、SpotifyとMusicBrainzからロシアの音楽アーティストとそのベストトラックに関するデータを収集することに焦点を当てることにしました。



Spotifyは、それほど前にロシアに登場した音楽プラットフォームですが、すでに市場で積極的に人気を集めています。さらに、データ分析の観点から、Spotifyは非常に便利なAPIを提供し、「ダンス性」などの独自の指標を含む大量のデータをクエリする機能を提供します。スコアは0から1で、トラックの良さを表します。ダンスのために。



MusicBrainz既存および既存の音楽グループに関する最も完全な情報を含む音楽百科事典です。一種の「ミュージカルウィキペディア」。ロシアからすべての出演者のリストを取得するには、このリソースからのデータが必要でした。

アーティストデータの収集

さまざまなアーティストの14363のユニークなエントリを含むテーブル全体をまとめました 。ナビゲートしやすくするために、スポイラーの下にテーブルフィールドの説明があります。











1つの国に関連付けられているアーティストのリストを取得する機会があるため、レコードフィールドのアーティスト、musicbrainz_id、およびtypeの例はMusicbrainz音楽データベースから取得されます。このデータを取得するには、次の2つの方法があります。

1. ロシアに関する情報を含むページのアーティストセクションを解析します。
2. APIを介してデータを取得します。MusicBrainzAPI
   
   ドキュメントMusicBrainzAPI
   
   ドキュメント検索
   
   例musicbrainz.orgのGETリクエスト
   
   

作業の過程で、MusicBrainz APIは、Area：Russiaパラメーターを使用したリクエストに完全に正しく応答せず、IzhevskやMoskvaなどのAreaが指定されているアーティストを非表示にしていることが判明しました。したがって、MusicBrainzからのデータは、パーサーがサイトから直接取得したものです。以下は、データが解析されたページの例です。





Musicbrainzのアーティストについて取得したデータ。



残りのフィールドは、エンドポイントへのGET要求の結果として取得され ます。リクエストを送信するときは、qパラメーターの値にアーティストの名前を指定し、typeパラメーターの値にアーティストを指定します。

人気のトラックに関するデータの収集

この表には、上の表に示されている、ロシアのアーティストによる最も人気のあるトラックの44473レコードが含まれています。スポイラーの下には、テーブルフィールドの説明があります。







各パラメータの詳細については、 こちらをご覧ください。





レコードの例



フィールドname、spotify_id、duration_ms、explicit、popularity、album_type、album_name、album_spotify_id、release_dateは、のGETリクエストを使用して取得されhttps://api.spotify.com/v1//v1/artists/{id}/top-tracks



、以前に受け取ったアーティストのSpotifyID のIDを指定します。市場パラメータのRUを指定します。 ドキュメント。

 

album_popularityフィールドはhttps://api.spotify.com/v1/albums/{id}



、先に取得したalbum_spotify_idをidパラメーターの値として指定して、のGETリクエストを行うことで取得でき ます。 ドキュメント。 

 

その結果、データを取得し ますSpotifyアーティストからの最高のトラックについて。ここでの課題は、オーディオ機能を取得することです。これは2つの方法で行うことができます。

1. 1つのトラックに関するデータを取得するにはhttps://api.spotify.com/v1/audio-features/{id}
   
   
   
   、そのSpotify IDをidパラメーターの値として指定して、のGETリクエストを行う必要があります。ドキュメント。 
   
   
2. 一度に複数のトラックに関するデータを取得するには、にGETリクエストを送信し、https://api.spotify.com/v1/audio-features
   
   
   
   これらのトラックのSpotifyIDをコンマで区切ってidsパラメーターの値として渡す必要があります。ドキュメント。 
   
   

すべてのスクリプトは、このリンクのリポジトリにあります 。



データを収集した後、以下に視覚化されている予備分析を実施しました。

結果

その結果、14363人のアーティストと44473人のトラックのデータを収集することができました。 MusicBrainzとSpotifyのデータを組み合わせることで、Spotifyプラットフォームで表現されているすべてのロシアの音楽アーティストのこれまでで最も完全なデータセットを取得しました。



このようなデータセットにより、音楽分野でB2BおよびB2C製品を作成できます。たとえば、コンサートを開催できるプロモーターにパフォーマーを推薦するシステムや、若いパフォーマーが人気になる可能性が高いトラックを作成するのに役立つシステムなどです。また、データセットに最新のデータを定期的に補充することで、音楽の特定のトレンドの形成と人気の高まりなど、音楽業界のさまざまなトレンドを分析したり、個々の演奏者を分析したりできます。データセット自体はGitHubで表示できます 。  

データセット2：雇用市場を調査し、「ハリネズミは明確」で主要なスキルを特定します

並ぶ：

• Andrey Pshenichny-データの収集と処理、データセットへの分析ノートの書き込み。
• Pavel Kondratenok-プロダクトマネージャー、データ収集とそのプロセスの説明、GitHub。
• SvetlanaShcherbakova-データの収集と処理。
• EvseevaOksana-プロジェクトの最終プレゼンテーションの準備。
• ElfimovaAnna-プロジェクトマネージャー。

私たちのデータセットでは、2020年10月のサイトhh.ruのITおよびテレコム分野からロシアの欠員に関するデータを収集するというアイデアを選択しました。

スキルデータ収集

すべてのユーザーカテゴリで最も重要な指標はキースキルです。ただし、それらを分析する際に問題が発生しました。空席データを入力するときに、HRはリストから主要なスキルを選択し、手動で入力することもできるため、多数の重複するスキルと誤ったスキルがデータセットに入力されました（たとえば、キースキルの名前「0.4Kb」に遭遇しました）。結果のデータセットを分析するときに問題を引き起こしたもう1つの問題があります。空席の約半分だけに給与に関するデータが含まれていますが、別のリソース（たとえば、リソースMy CircleまたはHabr.Career）からの平均給与インジケーターを使用できます。



まず、データ収集と詳細な分析から始めました。次に、データをサンプリングしました。つまり、データマイニング、品質、および技術的制約（ボリュームとタイプ）の目的での関連性を考慮して、機能（機能、つまり予測子）とオブジェクトを選択しました。



ここでは、職務記述書の必須スキルのタグでスキルに言及する頻度、空席のどの特性が提案された報酬に影響を与えるかを分析するのに役立ちました。同時に、8915の主要なスキルが特定されました。以下は、上位10の主要なスキルとそれらが言及される頻度を示すグラフです。





IT欠員の最も一般的な主要スキルであるテレコム



データは、APIを使用してhh.ruWebサイトから取得されました。データをアップロードするためのコードは ここにあります。データセットに必要な機能を手動で選択しました。収集されたデータの構造とタイプは、データセットのドキュメントの説明で確認できます 。

 

これらの操作の後、34,513行のサイズのデータ​​セットを取得しました。収集されたデータのサンプルを以下で確認できます。また、リンクもあります 。





収集されたサンプルデータ

結果

その結果、さまざまな分野のITスペシャリストの間で最も求められているスキルを見つけることができるデータセットが得られ、求職者（初心者と経験者の両方）、雇用主、時間スペシャリスト、教育機関、主催者に役立ちます。会議の。データを収集する過程で、困難もありました。兆候が多すぎて、形式化されていない言語（候補者のスキルの説明）で書かれており、欠員の半分は給与に関するオープンデータを持っていません。データセット自体はGitHub で表示できます 。

データセット3：チームAAでさまざまな猫をお楽しみください

並ぶ：

• EvgenyIvanov-ウェブスクレイピングの開発。
• Sergey Gurylev-製品マネージャー、開発プロセスの説明、GitHub。
• Yulia Cherganova-プロジェクトプレゼンテーションの準備、データ分析。
• Elena Tereshchenko-データ準備、データ分析。
• Yuri Kotelenko-プロジェクトマネージャー、ドキュメント、プロジェクトプレゼンテーション。

猫専用のデータセット？どうしてだろうと思いました。私たちの猫セットには、さまざまな品種の猫のサンプル画像が含まれています。

猫のデータを収集する

最初に、データを収集するためにcatfishes.ruを選択しました 。これには、必要なすべての利点があります。シンプルなHTML構造と高品質の画像を備えた無料のソースです。このサイトの利点にもかかわらず、それは重大な欠点を持っていました-一般に写真の数が少なく（すべての品種で約500）、各品種の画像の数が少ないです。したがって、別のサイトlapkins.ruを選択し ました。









HTML構造が少し複雑なため、2番目のサイトのスクレイピングは最初のサイトよりも少し困難でしたが、HTML構造は簡単に理解できました。その結果、2番目のサイトからすでに2600枚のすべての品種の写真を収集することができました。

サイト上の猫の写真は高品質で品種に対応しているため、データをフィルタリングする必要もありませんでした。



サイトから画像を収集するために、Webスクレイパーを作成しました。このサイトには、すべての品種のリストが記載されたページlapkins.ru/catが含まれています。このページを解析した後、すべての品種の名前と各品種のページへのリンクを取得しました。それぞれの岩を繰り返しループして、すべての画像を取得し、適切なフォルダーに配置しました。スクレーパーコードは、次のライブラリを使用してPythonで実装されました。

• urllib：URLを操作するための関数。
  
  
• html：XMLおよびHTMLを処理するための関数。
  
  
• Shutil：ファイル、ファイルのグループ、およびフォルダーを処理するための高レベルの関数。
  
  
• OS：オペレーティングシステムを操作するための関数。
  
  

XPathを使用してタグを操作しました。







Cats_lapkinsディレクトリには、猫の品種の名前に対応する名前のフォルダが含まれています。リポジトリには、品種ごとに64のディレクトリが含まれています。合計で、データセットには2600枚の画像が含まれています。すべての画像は.jpg形式です。ファイル名の形式：たとえば、「Abyssinian cat 2.jpg」では、最初に品種の名前が表示され、次に番号（サンプルのシリアル番号）が表示されます。

結果

このようなデータセットは、たとえば、飼い猫を品種別に分類するモデルをトレーニングするために使用できます。収集されたデータは、猫の世話の特徴を判断する、特定の品種の猫に適した食事を選択する、ショーや審査時に品種の一次識別を最適化するなどの目的で使用できます。Cotosetは、獣医クリニックや飼料メーカーなどの企業でも使用できます。コトセット自体はGitHubで無料で入手でき ます。

あとがき

データトンの結果に基づいて、学生はデータサイエンティストポートフォリオの最初のケースと、Huawei、Kaspersky Lab、Align Technology、Auriga、Intellivision、Wrike、MerlinAIなどの企業のメンターからの作業に関するフィードバックを受け取りました。 Datatonは、将来のデータサイエンティストが実際のチームですでに作業するときに必要となる、プロファイルのハードスキルとソフトスキルをすぐに活用できるという点でも役立ちました。また、学生ごとに背景が異なり、問題とその解決策についての彼自身の見解があるため、相互の「知識交換」の良い機会でもあります。すでに存在するいくつかのビジネスタスクと同様に、そのような実践的な作業がなければ、現代世界の専門家のトレーニングは単に考えられないことだと自信を持って言えます。



修士課程の詳細については、ウェブサイト data.misis.ruおよび Telegramチャネルをご覧ください。



まあ、そしてもちろん、単一の修士号ではありません！データサイエンス、 機械学習、ディープラーニングについて詳しく知りたい場合は、対応するコースをご覧 ください。難しいですが、エキサイティングです。また、HABRプロモーションコード は、バナーの割引に10％を追加することで、新しいことを学ぶのに役立ちます。

---

• データサイエンティストの職業
• データアナリストの職業
• データエンジニアリングコース