きちんとした機械学習パイプラインを書く方法

こんにちは、Habr。



機械学習のパイプライン化と並列化のトピックは、長い間私たちの仕事にありました。特に、Pythonに重点を置いた専門の本で十分なのか、それとももっと概要があり、おそらく複雑な文献が必要なのだろうか。機械学習パイプラインに関する紹介記事を翻訳することにしました。これは、アーキテクチャ上の考慮事項と、より適用される考慮事項の両方をカバーしています。この方向の検索が適切かどうかについて説明しましょう。





実行に時間がかかる機械学習パイプラインを作成したことがありますか？さらに悪いことに、チェックポイントに依存してパイプラインのステージを1つずつ調査できるように、パイプラインの中間部分をディスクに保存する必要がある段階に達しましたか？さらに悪いことに、そのような嫌な機械学習コードを本番環境に移行する前にリファクタリングしようとしたことがありますか？はい、機械学習パイプラインに長い間取り組んできた人は誰でもこれに対処しなければなりませんでした。では、十分な柔軟性と、後で本番環境に出荷するためにコードを簡単にリファクタリングする機能を提供する優れたパイプラインを構築してみませんか？



まず、機械学習パイプラインを定義し、パイプラインステージ間でブレークポイントを使用するアイデアについて説明しましょう。次に、パイプラインを本番環境に移行するときに足を踏み入れないように、このようなブレークポイントを実装する方法を見てみましょう。また、ハイパーパラメータを指定するときにパイプラインで実行する必要があるオブジェクト指向プログラミング（OOP）カプセル化に関連するデータストリーミングとトレードオフについても説明します。



コンベヤーとは何ですか？



コンベヤーデータ変換の一連のステップです。これは、古いパイプとフィルターの設計パターンに従って作成されます（たとえば、「|」パイプまたは「>」リダイレクト演算子を使用したunix bashコマンドを思い出してください）。ただし、パイプラインはコード内のオブジェクトです。したがって、各フィルター（つまり、パイプラインの各ステージ）のクラスと、これらすべてのステージを組み合わせて完成したパイプラインにするための別のクラスを作成できます。一部のパイプラインは、他のパイプラインを直列または並列に組み合わせることができ、多くの入力または出力を持つことができます。機械学習パイプラインを次のように考えると便利です。

• チャネルとフィルター。パイプラインのステージはデータを処理し、ステージはデータから学習できる内部状態を管理します。
• . ; , . , – .
• (DAG). , . : , , , , (, fit_transform ), , ( RNN). , , .

コンベヤーメソッドコンベヤー（またはパイプラインステージ）には、次の2つのメソッドが必要です。

• データのトレーニングと状態の取得に「適合」します（たとえば、そのような状態はニューラルネットワークの重みです）
• 実際にデータを処理して予測を生成するための「変換」（または「予測」）。
• 注：パイプラインステージがこれらのメソッドのいずれかを必要としない場合、ステージはNonFittableMixinまたはNonTransformableMixinから継承できます。これらは、デフォルトでこれらのメソッドの1つの実装を提供するため、何も実行されません。

次のメソッド は、オプションでパイプラインステージで定義することもできます。

• “fit_transform” , , , .
• 「セットアップパイプラインのこれらの各段階で、「設定」メソッドを呼び出します」。たとえば、パイプラインステージにTensorFlow、PyTorch、またはKerasニューラルネットワークが含まれている場合、これらのステージは独自のニューラルグラフを作成し、フィッティング前に「セットアップ」メソッドでGPUと連携するように登録できます。フィッティングする前に、ステージコンストラクターで直接グラフを作成することはお勧めしません。これにはいくつかの理由があります。たとえば、開始する前に、自動機械学習アルゴリズムの一部として、さまざまなハイパーパラメータを使用してステップを何度もコピーできます。自動マシン学習アルゴリズムは、最適なハイパーパラメータを検索します。
• 「ティアダウン」、この方法は機能的に「セットアップ」の反対であり、リソースを破棄します。

次のメソッドがデフォルトで提供され、ハイパーパラメータ制御を提供します。

• “get_hyperparams” . () , “__”.
• “set_hyperparams” , .
• “get_hyperparams_space” , , . , “get_hyperparams” , , . , , , RandInt(1, 3) , 1 3 . call .rvs() , “set_hyperparams”, .
• “set_hyperparams_space” , “get_hyperparams_space”.

パイプラインの再フィッティング、ミニバッチ処理、およびオンライン学習



ディープニューラルネットワーク（DNN）の学習などのミニバッチ処理を使用するアルゴリズム、またはパイプラインまたはそのステージに最適な強化学習（RL）などのオンライン学習のアルゴリズム複数の呼び出しを連鎖させて、次々に正確に追跡し、その場でミニバッチのサイズに調整するのが適しています。この機能は、一部のパイプラインおよびパイプラインの一部の段階でサポートされていますが、「fit」メソッドが再度呼び出されるため、ある段階で達成された適合がリセットされる場合があります。それはすべて、パイプラインステージをどのようにプログラムしたかによって異なります。理想的には、パイプラインステージは、「ティアダウン」メソッドを呼び出してから「ティアダウン」メソッドを呼び出した後にのみフラッシュする必要があります。setup」次のフィッティングまで、データはフィッティング間または変換中にフラッシュされませんでした。



コンベヤーでのチェック



ポイントの使用このコードを他の目的で使用してデータを変更する必要があるまで、パイプラインでブレークポイントを使用することをお勧めします。コードで正しい抽象化を使用していない場合は、足を踏み入れている可能性があります。



パイプラインでチェックポイントを使用することの長所と短所：

• プログラミングとデバッグのステップがパイプラインの途中または最後にある場合、ブレークポイントによってワークフローを高速化できます。これにより、パイプラインの最初のステージを毎回再計算する必要がなくなります。
• ( , ), , . , , – . , , , , , .
• おそらく、計算リソースが限られており、実行可能な唯一のオプションは、使用可能なハードウェアで一度に1つのステップを実行することです。ブレークポイントを使用し、その後にさらにいくつかのステップを追加すると、構造全体を再実行する場合に、中断したところからデータが使用されます。

パイプラインでブレークポイントを使用することのデメリット：

• ディスクを使用するため、間違って実行すると、コードの速度が低下する可能性があります。処理を高速化するには、少なくともRAMディスクを使用するか、キャッシュフォルダーをRAMにマウントします。
• これは多くのディスクスペースを必要とする可能性があります。または、RAMにマウントされたディレクトリを使用する場合は大量のRAMスペース。
• ディスクに保存されている状態は管理が難しくなります。プログラムには、コードの実行速度を上げるために必要な追加の複雑さがあります。機能的なプログラミングの観点からは、ディスクの使用に関連する副作用を管理する必要があるため、機能とコードはクリーンではなくなることに注意してください。ディスク（キャッシュ）の状態の管理に関連する副作用は、あらゆる種類の奇妙なバグの温床になる可能性があります

..。



プログラミングで最も難しいバグのいくつかは、キャッシュ無効化の問題から発生することが知られています。

Computer Scienceでは、キャッシュの無効化とエンティティの命名という2つの非常に注意が必要なことがあります。-フィル・カールトン

パイプラインの状態とキャッシュを適切に管理する方法に関するアドバイス。



プログラミングフレームワークとデザインパターンは、特定のルールを管理するという単純な理由から、制限要因になる可能性があることが知られています。うまくいけば、これはコード管理タスクをできるだけ単純に保つために行われるので、自分でミスを避け、コードが乱雑にならないようにすることができます。パイプラインと状態管理のコンテキストでの設計に関する私の5セントは次のとおりです。

CONVEYOR STAGESは、によって発行されたデータのテストポイント設定を制御してはなりません。

これを管理するには、これらすべてを実行できる特別なパイプライニングライブラリを使用する必要があります。



どうして？



パイプラインステージが、生成するデータ内のチェックポイントの配置を制御するべきではないのはなぜですか？作業中にライブラリまたはフレームワークを使用し、対応する機能を自分で再現しないのと同じ理由で、次のようになります。

• 本番環境にデプロイする前に、ブレークポイントを完全にアクティブ化または非アクティブ化するのを簡単にするシンプルなトグルスイッチがあります。
• , , , : , , . , .
• / (I/O) . , . : , . ?
• , , – . , , .
• , , , , , , . , . .
• , , (, , ) . , ( , ) . , , , , , , . , . , .

カッコいい。適切な抽象化により、機械学習パイプラインをプログラムして、ハイパーパラメータ調整フェーズを劇的にスピードアップできるようになりました。これを行うには、中間パイプラインステージのハイパーパラメータが変更されていない場合に、パイプラインステージを何度もスキップして、各テストの中間結果をキャッシュする必要があります。さらに、コードを本番環境にリリースする準備ができたら、1か月間コードをリファクタリングするのではなく、すぐにキャッシュを完全にオフにすることができます。



この壁にぶつからないでください。



機械学習コンベヤーで



のデータのストリーミング並列処理理論によると、パイプラインは、パイプラインステージを並列化できるデータストリーミングツールです。ランドリーの例この問題とその解決策の両方をよく示しています。たとえば、パイプラインの2番目のステージは、パイプラインの最初のステージから部分的な情報の処理を開始し、最初のステージは新しいデータの計算を続行する場合があります。さらに、パイプラインの第2ステージが機能するために、第1ステージがすべてのデータを処理するステージを完全に完了する必要はありません。これらの特別なパイプラインをストリーミングと呼びましょう（こことここを参照）。



誤解しないでください。scikit-learnパイプラインでの作業はとても楽しいです。ただし、ストリーミング用には評価されていません。 scikit-learnだけでなく、既存のパイプラインライブラリのほとんどは、可能な場合はストリーミング機能を利用しません。 Pythonエコシステム全体にマルチスレッドの問題があります。ほとんどのパイプラインライブラリでは、各ステージが完全にブロックされており、すべてのデータを一度に変換する必要があります。利用できるストリーミングライブラリはごくわずかです。



ストリーミングのアクティブ化は、StreamingPipeline代わりにクラスを使用するのと同じくらい簡単です。Pipelineステージを1つずつリンクします。同時に、ミニバッチのサイズとキューのサイズが示されます（RAMの過度の消費を回避するために、これにより本番環境での作業がより安定します）。理想的には、このような構造では、プロバイダーとコンシューマーの問題で説明されているように、パイプラインのあるステージから別のステージへの情報の転送を整理するために、セマフォを備えたマルチスレッドキューも必要になります。



私たちの会社では、Neuraxleはすでにscikit-learnよりも優れた1つのことを実行しています。それは、MiniBatchSequentialPipelineクラスを使用して使用できるシーケンシャルパイプラインに関するものです。..。これまでのところ、これはマルチスレッドではありません（ただし、これは計画に含まれています）。少なくとも、結果を収集する前に、フィッティングまたは変換プロセス中にミニバッチの形式でデータをパイプラインに渡します。これにより、scikit-learnのように大規模なパイプラインを操作できますが、今回はミニバッチを使用します。ハイパーパラメータスペース、インストール方法、自動機械学習など、他にも多数の可能性があります。



パラレルストリーミングPythonソリューション

• 新しいミニバッチとのフィッティングを改善するために、フィッティングおよび/または変換メソッドを連続して何度も呼び出すことができます。
• , -. , , .
• , . , setup. , , . , TensorFlow, , , , C++, Python, GPU. joblib . .
• , . , – , , , , .
• . , , ; , . , , , , ( Joiner). , . , , , .

さらに、Pythonのすべてのオブジェクトをスレッド間で共有して、シリアル化および再ロードできるようにする必要があります。この場合、必要なコード自体がこのワーカーにない場合でも、コードを動的に送信して任意のワーカー（別のコンピューターまたはプロセス）で処理できます。これは、パイプラインステージを具体化する各クラスに固有の一連のシリアライザーを使用して行われます。デフォルトでは、これらの各ステップには、通常のPythonコードを処理できるシリアライザーがあります。より複雑なコードの場合は、GPUを使用して、他の言語でコードをインポートします。モデルは、セーバーを使用して単純にシリアル化されますその後、ワーカーにリロードしました。ワーカーがローカルの場合、オブジェクトはRAMにあるディスク、またはRAMにマウントされているディレクトリにシリアル化できます。



カプセル化の妥協



パイプライン化された機械学習のために、ほとんどのライブラリにもう1つ厄介なことが残っています。ハイパーパラメータの処理方法についてです。 scikit-learnを例にとってみましょう。ハイパーパラメータスペース（ハイパーパラメータ値の統計的分布とも呼ばれます）は、パイプラインのステージ間の区切り文字としてアンダースコアを使用して、パイプラインの外部で指定する必要があることがよくあります。一方、ランダム検索とグリッド検索scipy分布で定義されているハイパーパラメータグリッドまたはハイパーパラメータ確率空間を探索できます。scikit-learn自体は、すべての分類子と変換器にデフォルトのハイパーパラメータ空間を提供しません。これらの機能を実行する責任は、パイプライン内の各オブジェクトに割り当てることができます。したがって、オブジェクトは自給自足であり、独自のハイパーパラメータを含みます。これは、単一責任の原則、オープン/クローズの原則、およびSOLIDオブジェクト指向プログラミングの原則に違反しません。



互換性と統合



マシン学習パイプラインをコーディングするときは、他の多くのツール、特にscikit-learnと互換性がなければならないことに注意してください。、TensorFlow、Keras、PyTorch、および他の多くのマシンと深い学習ライブラリ。

たとえば、.tosklearn()パイプラインステージまたはパイプライン全体をBaseEstimatorscikit-learnライブラリのベースオブジェクトに変換できるメソッドを作成しました。他の機械学習ライブラリに関しては、タスクは、私たちから継承する新しいクラスを作成し、BaseStep特定のコードでフィッティングと変換の操作、および場合によっては設定と破棄の操作をオーバーライドすることに要約されます。また、モデルを保存およびロードするセーバーを定義する必要があります。クラスのドキュメントBaseStepとその例を次に示します。



結論



要約すると、本番環境に移行する準備ができている機械学習パイプラインのコードは、多くの品質基準を満たす必要があります。これは、適切な設計パターンを順守し、コードを適切に構成すれば、かなり達成可能です。次の点に注意してください。

• 機械学習コードでは、パイプラインを使用し、パイプラインの各ステージをクラスのインスタンスとして定義するのが理にかなっています。
• 次に、構造全体をブレークポイントで最適化して、最適なハイパーパラメータを見つけ、同じデータに対してコードを繰り返し実行することができます（ただし、異なるハイパーパラメータまたは変更されたソースコードを使用する場合もあります）。
• , RAM. , .
• , – BaseStep, , .