機械学習法を使用した水圧破砕の候補井戸の選択

本日は、機械学習（以下、ML）を用いて水圧破砕（HF）の候補井戸の検索システムをどのように開発したか、そしてその結果をお伝えします。なぜ油圧フラクチャリングが必要なのか、MLがそれと何の関係があるのか​​、そしてなぜ私たちの経験が石油業者だけでなく役立つのかを理解しましょう。



カットの下で、問題の詳細な説明、ITソリューションの説明、メトリックの選択、MLパイプラインの作成、製品でモデルをリリースするためのアーキテクチャの開発



フラクチャリングが行われる理由については、以前の記事のこことここに書いています。



なぜここで機械学習をしているのですか？油圧フラクチャリングは、ドリルよりも安価ですが、それでもコストがかかります。また、すべてのウェルでそれを行うことは不可能であり、効果はありません。専門の地質学者が適切な場所を探しています。運営会社の数が多い（数万）ため、選択肢を見落としがちであり、利益を得ることができません。機械学習を使用すると、情報の分析を大幅にスピードアップできます。ただし、MLモデルの作成は戦いの半分にすぎません。それをコンスタントモードで動作させ、データサービスに接続し、美しいインターフェイスを描画して、ユーザーがアプリケーションに入り、2回のクリックで問題を解決するのに便利になるようにする必要があります。



石油業界から抽象化すると、すべての企業で同様のタスクが解決されていることがわかります。 ：誰もがしたい



A.自動化、大規模なデータ・ストリームの処理および分析を。

B.コストを削減し、メリットを逃さないようにします。

C.そのようなシステムを高速かつ効率的にします。



この記事から、このようなシステムをどのように実装したか、どのツールを使用したか、MLを本番環境に導入するという厄介な道のりでどのような問題が発生したかを学びます。私たちの経験は、活動の分野に関係なく、ルーチンを自動化したいすべての人にとって興味深いものになると確信しています。



「従来の」方法で水圧破砕用にウェルを選択する方法



油圧フラクチャリングの候補ウェルを選択するとき、オイルマンは彼の豊富な経験に依存し、さまざまなグラフと表を見て、その後、油圧フラクチャリングを実行する場所を予測します。しかし、確かに、地下を見るのはそれほど簡単ではないので、数千メートルの深さで何が起こっているのか誰も知りません（前の記事でもっと読むことができます）。 「従来の」方法によるデータ分析にはかなりの人件費が必要ですが、残念ながら、水圧破砕の結果を正確に予測することは保証されません（スポイラー-MLも使用）。



油圧フラクチャの候補ウェルを特定する現在のプロセスを説明すると、企業情報システムからのウェルデータのアンロード、取得したデータの処理、専門家による分析の実施、解決策の合意、油圧フラクチャの実施、結果の分析の段階で構成されます。シンプルに見えますが、完全ではありません。





候補ウェル



の選択の現在のプロセスこの「手動」アプローチの主な欠点は、多くのルーチン、ボリュームの増加、人々が仕事に溺れ始めること、プロセスと方法に透明性がないことです。



問題の定式化



2019年、当社のデータ分析チームは、水圧破砕の候補井戸を選択するための自動システムを作成するという課題に直面しました。私たちにとっては、すべての井戸の状態をシミュレートするように聞こえました-現時点でそれらに油圧フラクチャリングを実行する必要があると仮定して、次に、石油生産の最大の増加によって井戸をランク付けし、艦隊が移動するトップN井戸を選択し、石油回収を増やすための対策を講じます。



MLモデルを使用して、特定の井戸での水力破砕の実現可能性を示す指標が形成されます。計画された水力破砕後の石油生産とこのイベントの成功です。



私たちの場合、石油生産率は、1か月あたりの立方メートルで生産された石油の量です。この指標は、液体流量とウォーターカットの2つの値に基づいて計算されます。石油会社は液体を油と水の混合物と呼んでいます-井戸の産物であるのはこの混合物です。そして、ウォーターカットは、特定の混合物の水分含有量の割合です。破砕後の予想される石油生産率を計算するために、2つの回帰モデルが使用されます。1つは破砕後の流体の流量を予測し、もう1つはウォーターカットを予測します。モデルデータによって返される値を使用して、石油生産予測は次の式を使用して計算されます：







フラクチャリングの成功は、バイナリターゲット変数です。これは、水圧破砕後に得られた石油生産率の増加の実際の値を使用して決定されます。ゲインがドメイン領域の専門家によって決定された特定のしきい値よりも大きい場合、成功属性の値は1に等しく、それ以外の場合はゼロに等しくなります。したがって、分類問題を解決するためのマークアップを作成します。



指標については...指標はビジネスからのものであり、顧客の関心を反映している必要があります。機械学習コースはすべて教えてくれます。私たちの意見では、これが機械学習プロジェクトの主な成功または失敗の原因です。データサイエンティストのグループは、モデルの品質を好きなだけ改善できますが、それが顧客のビジネス価値をまったく向上させない場合、そのようなモデルは運命づけられます。結局のところ、水圧破砕後の坑井性能パラメータの「物理的」予測を備えた正確な候補を顧客が取得することが重要でした。



回帰問題については、次のメトリックが選択されました。







なぜ1つのメトリックがないのか、あなたは尋ねます-それぞれが独自の真実を反映しています。平均生産率が高い分野では、MAEが大きく、MAPEが小さくなります。平均生産率の低い分野をとると、逆になります。



分類問題には、次のメトリックが選択されました：





（wiki）、



ROCの下の領域– AUC曲線（wiki）。



エラー



＃1-すべてのフィールドに対して1つのユニバーサルモデルを構築するために発生したエラー。



データセットを分析した後、データがあるフィールドから別のフィールドに変化することが明らかになりました。堆積物は原則として異なる地質構造を持っているので、これは驚くべきことではありません。

トレーニングに利用できるすべてのデータをモデルに取り込んで駆動すると、それ自体が地質構造の規則性を明らかにするという私たちの仮定は失敗しました。特定のフィールドのデータでトレーニングされたモデルは、使用可能なすべてのフィールドに関する情報を使用して作成されたモデルよりも高い品質の予測を示しました。

各フィールドについて、さまざまな機械学習アルゴリズムがテストされ、相互検証の結果に基づいて、MAPEが最も低いものが選択されました。







間違い＃2-データの深い理解の欠如。



実際の物理プロセスに適した機械学習モデルを作成する場合は、このプロセスがどのように行われるかを理解してください。



当初、私たちのチームにはドメインエキスパートがいなかったため、無秩序に移動しました。残念ながら、予測を分析するときにモデルのエラーに気付かなかったため、結果に基づいて誤った結論が導き出されました。

間違い＃3-インフラストラクチャの欠如。



最初に、さまざまなフィールドとさまざまなパラメータ用にさまざまなcsvファイルをダウンロードしました。ある時点で、耐えられないほど多数のファイルとモデルが蓄積されました。すでに実施した実験を再現することができなくなり、ファイルが失われ、混乱が生じました。



1.技術パート



今日、候補者の自動選択システムは次のようになっています。







各コンポーネントは、特定の機能を実行する分離されたコンテナーです。



2.1 ETL =データロード



それはすべてデータから始まります。特に、機械学習モデルを構築したい場合。統合システムとしてPentahoDataIntegrationを選択しました。





変換の1つのスクリーンショット



主な利点：

• 無料システム;
• さまざまなデータソースに接続し、データストリームを変換するためのコンポーネントの幅広い選択肢。
• Webインターフェースの可用性。
• RESTAPIを介して管理する機能。
• ロギング。

上記のすべてに加えて、この製品の統合の開発において豊富な経験があります。 MLプロジェクトでデータ統合が必要なのはなぜですか？データセットを準備するプロセスでは、複雑な計算を実装し、データを単一の形式にし、「途中で」新しい指標を計算し、時間の経過に伴うパラメータの変化などを常に必要とします。



油圧フラクチャの各事実について、その時点での井戸の操作を説明する400を超えるパラメータがアンロードされます。活動、隣接する井戸の操作、および以前に実行された水力破砕に関する情報。さらに、データ変換と前処理が行われます。



処理されたデータのリポジトリとしてPostgreSQLを選択しました。 jsonを操作するためのメソッドのセットがたくさんあります。最終的なデータセットをこの形式で保存するため、これが決定的な要因になりました。



機械学習プロジェクトは、新機能の追加による入力データの絶え間ない変化に関連付けられているため、Data Vaultがデータベーススキーマとして使用されます（wikiへのリンク）。このストレージ設計スキームにより、オブジェクトに関する新しいデータをすばやく追加でき、テーブルとクエリの整合性に違反することはありません。



2.2データおよびモデルサービス



必要な指標を組み合わせて計算した後、データはデータベースにアップロードされます。それらはここに保存され、データシンターがMLモデルを作成するためにそれらを取得するのを待っています。このために、DataServiceがあります。これはPythonで記述され、gRPCプロトコルを使用するサービスです。これにより、データセットとそのメタデータ（機能のタイプ、説明、データセットサイズなど）の取得、予測のロードとアンロード、トレイン/テストによるフィルタリングと分割パラメーターの管理が可能になります。データベース内の予測はjson形式で保存されます。これにより、データをすばやく受信し、予測値だけでなく、この特定の予測に対する各機能の影響も保存できます。





データサービスのサンプルプロトファイル。



モデルを作成したら、保存する必要があります。この目的のために、ModelServiceが使用されます。これもgRPCを使用してPythonで記述されています。このサービスの機能は、モデルの保存とロードに限定されません。さらに、メトリック、機能の重要性を監視でき、新しいデータが表示されたときに予測を自動的に作成するためのモデルとデータセットの接続も実装できます。





モデルサービスの構造は次のようになります。



2.3 MLモデル



ある時点で、私たちのチームは、自動化がMLモデルの作成にも影響を与えるはずであることに気づきました。この必要性は、予測を行い、仮説をテストするプロセスをスピードアップする必要性によるものでした。そして、独自のAutoMLライブラリを開発してパイプラインに実装することを決定しました。



当初、既製のAutoMLライブラリを使用する可能性が検討されましたが、既存のソリューションはタスクに対して十分な柔軟性がなく、必要なすべての機能を一度に備えていませんでした（ワーカーの要求に応じて、AutoMLに関する別の記事を書くことができます）。私たちが開発したフレームワークには、データセットの前処理、機能の生成と選択に使用されるクラスが含まれていることに注意してください。機械学習モデルとして、これまでで最も成功したアルゴリズムのセットを使用します。xgboostからの勾配ブーストの実装、catboostライブラリ、Sklearnからのランダムフォレスト、Pytorch上の完全に接続されたニューラルネットワークなど。トレーニング後、AutoMLは以下を含むsklearnパイプラインを返します。上記のクラス、およびMLモデル、これは、選択したメトリックの相互検証で最良の結果を示しました。



モデルに加えて、特定の予測に対する兆候の影響に関するレポートが作成されます。このようなレポートにより、地質学者は神秘的なブラックボックスの内部を見ることができます。したがって、AutoMLはDataServiceを使用してタグ付きデータセットを受け取り、トレーニング後、最終モデルを形成します。次に、テストデータセットをロードし、予測を生成し、品質メトリックを計算することにより、モデルの品質の最終的な見積もりを取得できます。最終段階では、生成されたモデルのバイナリファイル、その説明、メトリックをModelServiceにアップロードし、機能の影響に関する予測と情報をDataServiceに返します。



したがって、モデルはテストチューブに配置され、製品に投入する準備が整います。いつでも、これを使用して、新しい関連データに基づいて予測を生成できます。



2.4インターフェース



私たちの製品のエンドユーザーは地質学者であり、彼はどういうわけかMLモデルと対話する必要があります。彼にとって最も便利な方法は、専用ソフトウェアのモジュールです。実装しました。



ユーザーが利用できるフロントエンドはオンラインストアのように見えます。目的のフィールドを選択して、成功する可能性が最も高いウェルのリストを取得できます。ウェルカードでは、ユーザーは水圧破砕後に予測される成長を確認し、それを「バスケット」に追加してより詳細に検討するかどうかを自分で決定します。





アプリケーションのモジュールインターフェイス。





これは、付録のウェルカードの外観です。



予測された油と液体の増加に加えて、ユーザーはどの機能が提案された結果に影響を与えたかを知ることもできます。機能の重要性は、shapメソッドを使用してモデルを作成する段階で計算され、DataServiceを使用してソフトウェアインターフェイスにロードされます。





このアプリケーションは、モデルの予測に最も重要な機能を明確に示しています。



ユーザーは、関心のある井戸の類似物を見ることができます。アナログの検索は、Kdツリーアルゴリズムを使用してクライアント側で実装されます。





モジュールは、同様の地質学的パラメータを持つ井戸を表示します。



2. MLモデル







をどのように改善したか利用可能なデータに対してAutoMLを実行する価値があるように思われ、私たちは満足しています。しかし、自動的に取得された予測の品質をデータインターンの結果と比較できない場合があります。事実、アナリストはモデルを改善するためにさまざまな仮説を提示してテストすることがよくあります。アイデアが実際のデータの予測の精度を向上させる場合、それはAutoMLに実装されます。したがって、新しい機能を追加することにより、アナリストの関与を最小限に抑えてモデルと予測の作成に進むのに十分な自動予測が改善されました。 AutoMLでテストおよび実装されたいくつかの仮説を次に示します



。1。充填方法の変更



最初のモデルでは、カテゴリを除いて、特性のほとんどすべてのギャップを平均で埋めました。それらについては、最も一般的な意味が使用されました。その後、アナリストと専門家の共同作業により、ドメイン領域で、機能の80％のギャップを埋めるために最適な値を選択することが可能になりました。また、sklearnライブラリとmissingpyライブラリを使用して、さらにいくつかの入力方法を試しました。最良の結果は、一定の充填とKNNImputer（最大5％のMAPE）で得られました。





さまざまな方法でギャップを埋める実験の結果。



2.機能の生成



新しい機能の追加は、私たちにとって反復的なプロセスです。モデルを改善するために、科学記事の経験とデータからの独自の結論に基づいて、ドメインの専門家の推奨に基づいて新しい機能を追加しようとしています。





チームによって提案された仮説をテストすることは、新しい機能を導入するのに役立ちます。



最初の1つは、クラスタリングに基づいて識別された機能でした。実際、地理的パラメータに基づいてデータセット内のクラスターを選択し、クラスターに基づいて他の特性の基本的な統計を生成しただけです。これにより、品質がわずかに向上しました。





クラスターの選択に基づいて機能を作成するプロセス。



また、爆風炉エリアに浸したときに発明した兆候を追加しました。累積石油生産量はウェルの年齢（月）に正規化され、累積注入はウェルの年齢（月）に正規化され、パラメーターはDupuis式に含まれています。しかし、sklearnのPolynomialFeaturesから標準セットを生成しても、品質は向上しませんでした。



3.



機能の選択機能の選択を複数回実行しました。ドメインエキスパートと一緒に手動で行う場合と、標準の機能選択方法を使用する場合の両方です。数回繰り返した後、ターゲットに影響を与えないいくつかの機能をデータから削除することにしました。そのため、同じ品質を維持しながらデータセットのサイズを縮小することができ、モデルの作成を大幅に高速化することができました。



そして今、受け取ったメトリックについて...



ある分野では、以下のモデル品質指標を取得しました。







油圧破壊の結果は、予測されていない多くの外部要因にも依存することに注意してください。したがって、MAPEを0に減らすことについて話すことはできません。



結論



MLを使用した水圧破砕の候補井戸の選択は、データエンジニア、データサンター、ドメインエキスパート、マネージャーの7人が集まった野心的なプロジェクトです。今日、プロジェクトは実際に立ち上げの準備ができており、すでに会社のいくつかの子会社でテストされています。



同社は実験にオープンであるため、リストから約20のウェルが選択され、破壊されました。開始石油生産率（MAPE）の実際の値との予測の偏差は約10％でした。そして、これは非常に良い結果です！



狡猾ではありません。特に初期段階では、提案された井戸のいくつかは不適切な選択肢であることが判明しました。



質問やコメントを書いてください-私たちはそれらに答えようとします。



私たちのブログを購読してください、私たちは間違いなく私たちが書くであろうもっと多くの興味深いアイデアやプロジェクトを持っています！