MLプロセスの成熟度レベル(機械学習関連プロセス)

機械学習は誇大広告の領域から外れています。そして、それがどれほど良いか悪いかを明確に言うことは難しいですが、絶対に明らかなことは何ですか?MLプロジェクトについて「お金はどこにあるのか」という質問をする人がますます増えています。そして、この記事も例外ではありません-誇大広告は終わりました、私たちは働く必要があります。





プロセスの構築について話す場合、個人的には「成熟度レベル」という用語を使用するのが本当に好きです。結局のところ、目の前に理解できる評価尺度がある場合は、自分がどこにいるのか、何が待っているのかを常に理解でき、優先順位を決定して、今ここで必要なものを調整し始めることができます。レベルを上げて革命を起こし、掘り出し物で車輪の再発明をします...そしてそれは後で役に立たないかもしれません。一般的に、すべての観点から有用な演習です。





純粋に理論的には、CMMI、ISO / IEC 33001、またはそれらのより現実的な説明に記載されている標準的なプロセス成熟度レベルをITILから取得し、MLに移行することができます。実際に何度かこの練習をしてみましたが、真空中のある種の球形の馬であることが判明し、現状と将来の質問に答えることができましたが、描くのは困難でした。理解できるパス。そのため、CMMIは優れているため、周りを見回して、さまざまなMLプロジェクトに取り組む際の困難な道筋を覚えて体系化することにしましたが、実際の作業には、より具体的で現実的なものが必要です。一般に、その結​​果、MLプロジェクトの作業の開発の基本的な段階のいくつかの説明が生まれました。 「成熟度」と呼べるかどうかは2番目の質問ですが、上記の質問に答えておくことが最も重要です。





それでは、詳細に取り掛かりましょう。おそらく、私が新しいものを思い付かず、ITILから取得した唯一のレベルは、レベル「0」または「不在」です。彼らが言うように、プロセスがない場合、それはITに関するものであれ、MLに関するものであれ、いかなる形式でもありません。しかし、真剣に、私の5つのレベル/ステップは次のとおりです。





  • レベル1。「愛好家」





  • レベル2。「R&D」





  • レベル3。「分析する」





  • レベル4。「専門」





  • レベル5「自動化」





レベル1「愛好家」

- ( ) . , ( ), , , , «Big Data» . Python ( R Matlab … ) -- - . .





— , . , .





2 «»

- , , , . , :





  • – -, .., .





  • – . - 80% , .





  • ML . — , . .





3 « »

, , , . :





  • . ( , ), . , .





  • , .. -. , . . , .





  • . , — , ?





4. «»

, ( , ..), - . , :





  • - PROD- DEV/TEST/PROD





  • , .. – , .





  • – - , - . Run the business/Change the business.





5 « »

, 4- . DataOps&MLops . DVC Feature Store . .





, :











1





2





3





4





5









.





.















.

























.





















100%









PC/ ( +GPU)





PC ( on-prem)





ML- .









PROD DEV/TEST .





.





PROD DEV/TEST .





.









1-2 (Data Scientists - DS)





3-5 :2-3 DS





1-2 DE (Data Engineers)





5-10 :





3-6 DS





2-4 DE











10+ .





«ML-ops».









25+









-





1-2





2-4





5+





10+





50+









( , ). , , . , , .





, , :





  • , ML? ?





  • ?





  • , ?





, ML - , — .





— ( ) . , ML — Python, R, Azure ML Studio, SPSS SAS, . 1- 5- . . . , ( ), , .





しかし実際には、これは議論のための別のトピックです(またはインスピレーションがある場合は別の記事)-あるレベルから別のレベルへの最適なパスの選択とそれが何に依存するか、いつ、どのソフトウェアが必要か、どの専門知識が必要か、そしてもちろん、アウトソーシングの場所はどこですか?しかし、ポイントを決定する方法、いつ停止するか。








All Articles