Dockerを使用した機械学習モデルの展開-パート1

記事の翻訳は、基本および高度な機械学習コースの開始を見越して作成されました。

. OTUS Machine Learning: . , -, — (Senior Data Scientist Oura) , .

---

データサイエンティストとしての私たちの主な焦点は、データを処理し、機械学習モデルを開発および改善することです。データ処理はプロジェクト全体で最も時間のかかる段階であり、モデルの正確さが情報製品の成功を決定するという意見があります。しかし、業界では、人工知能の分野で（超大国「の実装の時代に発見の時代から」過渡期になりました：中国、シリコンバレー、およびこの分野での新しい世界秩序がによって決定されるリチウム海部）。現在、状況は拡大しており、焦点はモデルの構築からサービスとしてのユーザーへのモデルの提供、そしてモデルのパフォーマンスからそのビジネス価値へとシフトしています。ここで最も有名な例はNetflixです。これは、これらのエンジンから大幅なパフォーマンスの向上が約束されているにもかかわらず、エンジニアリングコストのために100万ドルのアルゴリズムの勝利モデルを使用したことがありません-WIRED。





理解から現実へ（Strata Dataカンファレンスのスライド-Kubeflowの説明：Kubernetesでのポータブルマシン学習）



モデルの実装は非常に重要であり、情報製品はプロジェクト構造、管理、ライフサイクルが類似しているため、ソフトウェア製品と見なすことができます。したがって、ソフトウェア開発の分野で知られているすべての手法を使用して、機械学習モデルを本番環境に展開する権利があります。



コンテナ化は、クラウドプラットフォームとローカルサーバーの両方にソフトウェア製品を展開するために広く使用されている方法です。基本的に、コンテナと呼ばれるボックスにコードと依存関係をパッケージ化することについて話します。以下は、ソフトウェア開発のコンテキストでのコンテナの定義です。



Docker サイトからの



コンテナは、コードとそのすべての依存関係をパッケージ化する標準的なソフトウェアであり、アプリケーションをさまざまなコンピューティング環境で迅速かつ確実に実行できます。



Dockerは、マシン学習モデルの開発、コンテナ化、および他の環境への展開を加速するのに役立つプラットフォームです。このシリーズの記事では、モデルを保存し、それをAPIエンドポイントとして使用し、MLアプリケーションをコンテナ化し、Dockerエンジンで実行する方法を紹介します。

質問1「なぜDocker？」

開始する前に、Docker IDをお持ちでない場合は登録し、そのIDを使用してDockerをダウンロードしてマシンにインストールする必要があります。



私が最初に銀行で仕事を始めたとき、私はデータ処理を含むプロジェクトを割り当てられ、最初のMVP（最小の実行可能な製品）は1か月で配達されなければなりませんでした。ストレスに聞こえますが、私たちチームはすべての主要製品の開発にアジャイル手法を使用しています。このMVPの主な目標は、製品の実用性と有効性に関する仮説をテストすることでした（アジャイル手法の詳細については、Eric Riesの著書「 LeanStartup 」を参照してください）。私のマネージャーは、モデルを自分のラップトップにデプロイすること、つまり、モデルを実行して予測に使用することを望んでいました。



プロジェクトを実行するためにマネージャーのラップトップを準備するために必要なすべての手順を想像した場合、次のような多くの質問があるかもしれません。

• 彼はMacbookとThinkPadを使用しているため、モデルはどのオペレーティングシステムで実行する必要がありますか？もちろん、私は彼にこれについて尋ねることができましたが、私の人生のその瞬間、私の上司は非常に厄介で、私にこの情報を知られたくなかったと思います。（この考えは、オペレーティングシステムの依存関係の問題を認識させるためのものであり、私の上司は本当に良い人です。）
• 2番目の質問：「彼はPythonをインストールしていますか？」もしそうなら、どのバージョン、2または3？2.6、2.7、3.7のどれですか？
• scikit-learn、pandas、numpyなどの必須パッケージはどうですか？私のマシンと同じバージョンがありますか？

これらすべての質問を念頭に置いて、これは私のモデルを実行するために彼のコンピューターで私がしなければならなかったことです。

1. Pythonをインストールします。
2. すべてのパッケージをインストールします。
3. 環境変数を設定します。
4. コードを車に転送します。
5. 必要なパラメーターを使用してコードを実行します。

これらの手順はすべて多大な労力を要し、異なる環境でコードを実行すると非互換性のリスクがあります。



したがって、Dockerがすでにインストールされて実行されている場合は、ターミナルを開いて次のコマンドを実行できます。

docker run --rm -p 5000:5000 datascienceexplorer/classifier

数分後、ターミナルに似たようなものが表示されます。

* Serving Flask app "main" (lazy loading)
* Environment: production
   WARNING: Do not use the development server in a production environment.
   Use a production WSGI server instead.
* Debug mode: off
* Running on http://0.0.0.0:5000/ (Press CTRL+C to quit)

次に、お気に入りのブラウザを開いて、次のアドレスに移動します。

http://localhost:5000/apidocs/

APIの予測 行をクリックしてから、右側の試用ボタンをクリックすると、インターフェイスは次のよう





になります。バックエンドのAPIのスワガーページ使用し



た標準のIris Flowersデータセットを覚えていますか？この小さなアプリケーションは、分類モデルに基づくいくつかの測定値に関する情報に基づいて、花の種類を予測するのに役立ちます。実際、あなたはすでに私のマシン学習モデルをサービスとして使用しており、インストールしたものはすべてDockerだけであり、Pythonやパッケージをマシンにインストールする必要はありませんでした。



これがDockerの強みです。依存関係の問題を解決するのに役立ち、さまざまな環境、この場合はマシンにコードをすばやく展開できます。

DevOpsデータサイエンス

さて、うまくいけば、私はあなたに読み続けるのに十分な動機を与えました、そしてあなたがこれらの部分をスキップしてコードに直接行きたいのであれば、それは大丈夫です、それはあなたがDockerであなたのマシン学習モデルをコンテナ化してそれをとして公開したいということを意味しますサービス。ただし、今のところ、少し立ち止まって、マシンラーニングとDockerに関するすべての資料を脇に置いて、データサイエンスのDevOpsと、なぜそれが必要なのかを考える必要があります。

DevOpsとは何ですか？

ウィキペディアの

DevOpsは、ソフトウェア開発と情報技術サービスを組み合わせたプラクティスのコレクションです。その目的は、システム開発のライフサイクルを短縮し、高品質のソフトウェアを継続的に提供することです。

ソフトウェア開発者の目標は、使いやすさ、信頼性、スケーラビリティ、ネットワークパーツ、ファイアウォール、インフラストラクチャなど、必要なすべての機能を備えたコードをタイムリーに配信することです。多くの場合、運用上の問題が残ります。最終目標とKPIの可能性が異なるため、これらのチームは通常、同じ屋根の下でうまくやっていくことはありません。したがって、DevOpsスペシャリストは連絡係として機能し、これらのチームが協力するのを支援したり、両方の当事者の責任を引き受けたりすることができます。これにより、最終的に1つのチームができ、開発を最初から最後までリードできます。結局のところ、コードは正常に機能するため、コンピュータをクライアントに渡すことはできません。

しかし、Jupyterノートブックで私は幸せです!!!

データサイエンティストにも同様の話があります。これも、Jupyter Notebookを実行しているラップトップを手に取って、クライアントが使用できるようにすることはできないためです。モデルを使用して、いつでもどこでも多数のユーザーにサービスを提供し、最小限のダウンタイム（使いやすさ、信頼性、スケーラビリティ）で立ち上がることができるようにする方法が必要です。



このため、企業は、単に概念を証明してモデルの精度の向上に焦点を合わせるのではなく、本番環境でマシン学習モデルを展開および展開し、企業にビジネス価値を提供できるDevOpsスキルを持つデータアナリストを探しています。そのような人々はユニコーンと呼ばれます。



機械学習モデルを展開する方法はたくさんありますが、Dockerは、コードの堅牢性とカプセル化を維持しながら、必要な柔軟性を提供する強力なツールです。もちろん、Dockerをインストールし、ターミナルを開いて実行するようにお客様に依頼することはありません。ただし、このコンテナ化フェーズは、モデルをクラウドプラットフォームまたはオンプレミスサーバーにデプロイする必要がある実際のプロジェクトで作業を開始するときに、最終的には基盤になります。

訓練されたモデルの保管

大学に戻って、下の写真に示すように、データサイエンスプロジェクトは6つの段階で構成されていることを学びました。モデルを自動化して本番環境にデプロイすることが最終的な目標である場合、モデルをデプロイフェーズに「導入」するにはどうすればよいでしょうか。





データサイエンスプロジェクトの6つの段階



あなたが考えることができる最も簡単な方法は、ノートブックからすべてをコピーし、それを.pyファイルに貼り付けて実行することです。ただし、予測を行う必要があるたびに、このファイルを実行して、同じデータでモデルを再度トレーニングします。このアプローチが、トレーニングデータセットが小さい単純なモデルに何らかの形で適用できる場合、トレーニングデータが多い複雑なモデルには効果的ではありません（ANNまたはCNNモデルのトレーニングにかかる​​時間を考えてください）。つまり、ユーザーがモデルの予測リクエストを送信すると、モデルのトレーニング段階を完了するのに時間がかかるため、結果が得られるまでに数分から数時間待つ必要があります。

トレーニング後すぐにモデルを保存するにはどうすればよいですか？

ほとんどの場合、Pythonの機械学習モデルは、コードの実行中にPythonオブジェクトとしてメモリに保存され、プログラムの終了後に削除されます。モデルがトレーニングされた直後にこのオブジェクトをハードディスクに保存できれば、次に予測を行う必要があるときに、完成したモデルをメモリにロードするだけで、初期化とトレーニングの段階を経ることはありません。コンピュータサイエンスでは、オブジェクトをストレージ用のバイトストリームに変換するプロセスは、シリアル化と呼ばれます。 Pythonでは、これは、pickleと呼ばれるパッケージを使用して簡単に実行できます。pickleは、そのままでネイティブPythonをサポートしています。 Python開発者は、pickleを使用してオブジェクトをシリアル化するプロセスを「pickling」とも呼びます。..。



Jupyterノートブックでは、モデルオブジェクト（私の場合は「knn」）をコードと同じディレクトリにあるpklファイルに簡単に保存できます。

import pickle

with open('./model.pkl', 'wb') as model_pkl:
  pickle.dump(knn, model_pkl)

モデルを現在のディレクトリに保存する



私のノートブック。ここから取得することをお勧めします。これにより、さらに同様の結果が得られます。または、独自のモデルを使用することもできますが、必要なすべてのパッケージと正しいモデル入力があることを確認してください。



最初のステップを完了すると、トレーニング済みモデルが保存されました。さらに、モデルを予測に再利用しますが、それについては記事の後半で詳しく説明します。

---

詳細：

• 機械学習。上級コース
• 機械学習。ベーシックコース

---

続きを読む

• フォーラムのトピックモデリングをすばやく作成する方法、または腹腔疾患を持つ人々が心配していること
• :
• Machine Learning: